条件付確率～男女問題

2019-07-01 / tau / 4件のコメント

概要

条件付き確率の代表的な問題として、2人の子の性別問題をよく見かけるが、前提条件によって答えが異なることを明確にしている例は少ない。

また、この問題がベン図を用いた分析や、ベイズの定理の親和性についても考えてみる。

兄妹の場合

まず準備として、以下の問題を考える。

2人兄弟の上の子が男であった場合、下の子が女である確率はいくらか。

普通に考えれば、男か女どちらかなのだから、確率は1/2と考えるが、まずは生真面目にすべての事象を並べてみる。

conditional-probability-brother-cases

上の子が兄か姉かに関係なく下の子が女である確率は1/2と直感的に考えられるが、それが確認できた。

一応、以下の様なベン図を考えてみる。図中、色付けしたところが条件下での事象で、濃い色が事後確率として求めたい部分。

conditional-probability-brother-venn-diagram

ここで記号E/Yはelder/younger、M/Fはmail/femailを表す。この場合、上の子が男（事象EM）のもとでの下の子が女（事象EMかつYF）ということになり、EMの要素が(男, 男)、(男, 女)の2つに対してEMかつYFの要素は(男,女)だけなので、確率は1/2となる。

なお、ベン図の代わりに場合分けの表で整理してみると、以下の様になる。
conditional-probability-brother-table

これを敢えてベイズの定理で書くと以下の様になるが、まあ当たり前という感じ。

(1) $\begin{equation*} P(YF|EM) = \frac{P(EM \cap YF)}{P(EM)} = \frac{1}{2} \end{equation*}$

これをベイズの定理の別の表現で書くと以下の様になる。

(2) $\begin{equation*} P(YF|EM) = \frac{P(EM|YF)P(YF)}{P(EM)} = \frac{\dfrac{1}{2} \cdot \dfrac{1}{2}}{\dfrac{1}{2}}=\frac{1}{2} \end{equation*}$

ただし $P(EM|YF)=1/2$ としているが、この項の考え方は結局求めたい確率と同じ道筋で考えなければならない。

いずれにしてもこの問題は、第一子が男であろうが女であろうが、第二子が男か女かと問われれば、確率1/2でどちらか、という自然な結果となり、ベン図や場合分け表、ベイズの定理を使ったとしても、あまり恩恵は得られない。

区別なしの場合

次に以下の様な問題を考える。

2人の子のうち、1人が男の場合、もう1人が女である確率はいくらか。

これも普通に考えれば、男か女どちらかなのだから、確率は1/2と考えてしまいそうになるが、まじめに事象を考えてみる。

conditional-probability-2children-cases

この場合は1人が男とわかっているので、(姉, 妹)の事象は存在しなくなり、もう1人が女というだけで姉か妹かの区別はないことから、確率は2/3となる。

これをベン図で描いてみると以下のようになるが、男と女の組み合わせが2通りあることを確認する点では、上のような整理のほうがわかりやすい。

conditional-probability-2children-venn-diagram-1

場合分けの表は以下の通りになる。

conditional-probability-2children-table-1

これをベイズの定理で表現すると以下のようになる。

(3) $\begin{eqnarray*} P(F|M) &=& \frac{P(F \cap M)}{P(M)} = \frac{P(FM) + P(MF)}{P(MM) + P(MF) + P(FM)} \\ &=& \frac{\dfrac{1}{4} + \dfrac{1}{4}}{\dfrac{1}{4} + \dfrac{1}{4} + \dfrac{1}{4}} = \frac{2}{3} \end{eqnarray*}$

条件付き確率から求める方法は、式(2)と同じ理由でメリットがない。

順番がある場合

次に以下の様な問題を考える。

2人の子がいる家庭を訪ねた。最初に挨拶に出てきたのが男の子だった場合、もう1人が女の子である確率はいくらか。

この場合は上の子と下の子を区別していないので、一つ前の問題と同じ答えになりそうだが、事象を列挙してみる。

conditional-probability-2children-by-order-cases

この問題でも、2人とも女のケースが除かれるが、兄弟構成に対して挨拶の順番がそれぞれ2通りずつあり、2人とも男の場合は兄、弟のいずれも最初に挨拶しうるので前提条件の事象に2つ含まれる。結果として、2人目が女の子である確率は1/2となる。

このように、2人兄弟の性別に関する問題でも、条件の付し方によって答えが異なってくるが、いずれの問題もベイズの定理を駆使するというものではなさそうである。

3人兄弟の場合

問題を以下の様に拡張する。

3人の子のうち2人が男の子の場合、残る1人が女の子である確率はいくらか。

これについても以下のように事象を列挙し、確率3/4を得る。

conditional-probability-3children-cases

ベイズの定理で表すと以下のようになるが、この場合もまじめに事象のパターンを列挙した考えるほうが素直。

(4) $\begin{eqnarray*} P(F|MM) &=& \frac{P(F \cap MM)}{P(MM)} \\ &=& \frac{P(MMF) + P(MFM) + P(FMM)}{P(MMM) + P(MMF) + P(MFM) + P(FMM)} \\ &=& \frac{\dfrac{1}{8} + \dfrac{1}{8} + \dfrac{1}{8}}{\dfrac{1}{8} + \dfrac{1}{8} + \dfrac{1}{8} + \dfrac{1}{8}} = \frac{3}{4} \end{eqnarray*}$

ベイズの定理～難病検査

2019-07-01 / tau / コメントする

概要

ベイズの定理で典型例として説明される問題。ある病気の検査で陽性が出た場合に罹患している確率を求める。類似の問題として、鉱脈を探るのに試掘結果から鉱脈が存在する確率を求める問題がある。

ロジックとしては、「誤判定の可能性がある調査・検査の結果から、目的とする事実の確率を求める」という構図で共通している。

難病問題

病気の検査の問題を例示する。

ある難病の検査結果が陽性だったとき、その病気に罹患している確率を求めよ。ただし以下の情報が与えられている。

その難病は1000人に1人が罹患している
その難病にかかっている場合、90%の確率で検査結果は陽性になる
その難病にかかっていなくても、20%の確率で検査結果は陽性になる

ここで以下の記号を定義する。

全体としての難病の罹患率→ $P(D)=0.001$
難病にかかっている場合に陽性になる確率→ $P(P|D)=0.9$
難病にかかっていない場合に陽性になる確率→ $P(P| \overline{D})=0.2$

このとき、ベイズの定理により以下の確率を得る。

(1) $\begin{eqnarray*} P(D|P) &=& \frac{P(P|D) P(D)}{P(P|D) P(D) + P(P|\overline{D}) P(\overline{D})} \\ &=& \frac{0.9 \times 0.001}{0.8 \times 0.001 + 0.2 \times 0.999} \\ &\approx& 0.004484 \end{eqnarray*}$

検査結果が陽性であっても、この難病にかかっている確率は0.5%未満ということになる。検査しなければ1000人に1人の罹患率なので0.1%なので、検査によってその確からしさが約4.5倍となるが、事前確率が小さい場合、検査の精度を上げても劇的な判定効果は望めない。

なお、この約4.5倍という値は $P(P|D) / P(P|\overline{D}) = 4.5$ に相当し、事前確率 $P(D)$ の値が小さいほど4.5に近づく(ベイズの定理の解釈参照)。

なお、2020年、世界的に大きな影響を及ぼしたCOVID-19（新型コロナウイルス）のPCR検査を題材にした記事をこちらにまとめている。

ベイズの定理の解釈

2019-07-01 / tau / コメントする

ベイズの定理の変形

ベイズの定理は、一般に以下のように表現される。

(1) $\begin{equation*} P(T_k |C) = \frac{P(C|T_k)P(T_k)}{\displaystyle \sum_{i=1}^n P(C|T_i)P(T_i)} \end{equation*}$

または $T$ と $\overline{T}$ の2事象の場合は、

(2) $\begin{equation*} P(T|C) = \frac{P(C|T)P(T)}{P(C|T)P(T) + P(C|\overline{T})P(\overline{T})} \end{equation*}$

ここで次のように確率の記号を定義する。また、イメージを掴みやすくするために、難病検査の問題の場合を対比させる。

$P_t = P(T)$: ターゲットの事象が真である確率(true)あるいは事前確率。たとえば日本全体での難病の罹患率など。
$P_c = P(T|C)$: 判定が真の条件下で事象が真である確率(under condition)あるいは事後確率。たとえば検査結果が陽性の場合に難病に罹患している確率。
$P_h = P(C|T)$: 事象が真の場合に判定が真となる確率(hit)。たとえば難病に罹患している場合に検査結果が陽性となる確率。
$P_f = P(C| \overline{T})$: 事象が偽なのに判定が正となる確率(fail)。たとえば難病に罹患していないのに検査結果が陽性となる確率。

$P(\overline{T}) = 1 - P(T)$ であることに留意して、これらの記号でベイズの定理を表すと以下の通り。

(3) $\begin{equation*} P_c = \frac{P_h P_t}{P_h P_t + P_F (1 - P_t)} = \frac{1}{1 + \dfrac{P_f}{P_h} \left( \dfrac{1}{P_t} - 1 \right) } \end{equation*}$

いくつかのケース

誤判定を絶対しない場合

(8)において $P_f = 0$ とおくと、 $P_t = 1$ となる。

難病の問題で言えば、「罹患していないときには必ず陰性判定となる(陽性とならない)」という検査に相当し、このような検査の結果が陽性判定なら必ず罹患していることになる。この時、罹患時に陽性となる確率 $P_h$ がいくらかは関係ない。

ただしこの逆は必ずしも保証されておらず、陰性判定でも罹患している場合がある。

完璧な検査

難病の問題で、上記に加えて「罹患しているときは必ず陽性判定となる( $P_h = 1$ 」という条件を加える。

まず、(2)をCの余事象について書くと以下の様になる。

(4) $\begin{eqnarray*} P(T|\overline{C}) &=& \frac{P(\overline{C}|T)P(T)}{P(\overline{C}|T)P(T) + P(\overline{C}|\overline{T})P(\overline{T})} \\ &=& \frac{(1 - P_h) P_t}{(1 - P_h) P_t + (1 - P_f)(1 - P_t)} \\ \end{eqnarray*}$

ここで、 $P(\overline{T} | \overline{C}) = 1 - P(T| \overline{C})$ を考える。これは、陰性反応の時に難病にかかっていない確率に相当する。

(5) $\begin{eqnarray*} P(\overline{T} | \overline{C}) = 1 - P(T| \overline{C}) &=& 1 - \frac{(1 - P_h) P_t}{(1 - P_h) P_t + (1 - P_f)(1 - P_t)} \\ &=& \frac{(1 - P_f)(1 - P_t)}{(1 - P_h) P_t + (1 - P_f)(1 - P_t)} \end{eqnarray*}$

(5)において $P_f = 0$ と置くと、

(6) $\begin{eqnarray*} P(\overline{T} | \overline{C}) = 1 - P(T| \overline{C}) = \frac{(1 - P_t)}{(1 - P_h) P_t + (1 - P_t)} \end{eqnarray*}$

ここで $P_h = 1$ の場合は $P(\overline{T} | \overline{C}) = 1$ となる。

この結果を難病の問題で言えば、検査結果が陰性の場合は必ず罹患していない、ということになる。

以上をまとめると、検査の性質が「罹患していなければ必ず陰性、罹患していれば必ず陽性となる」という場合、検査結果が陽性なら必ず罹患しており、陰性なら罹患していないという、至極当然の結果となる。

意味のない検査

(8)において $P_h = P_f$ と置くと、 $P_c = P_t$ となる。

難病の例で言えば、罹患している時に陽性となる確率と、罹患していないときに陽性となる誤判定率が同じ場合、検査の意味がない(一般的な罹患率でしか罹患の程度がわからない)ということになる。

正しい判定の率が高くても、誤判定率が同じ場合は意味をなさない。

意味のある検査

(8)を $P_f / P_h$ について解く。

(7) $\begin{equation*} \frac{P_f}{P_h} = \frac{\dfrac{1}{P_c} - 1}{\dfrac{1}{P_t}- 1} \end{equation*}$

この式で、 $P_f < P_h$ のとき、 $P_c > P_t$ となり、検査が意味を持つことがわかる。

稀な事象

事前確率 $P_t$ がとても小さい場合を考える。たとえば難病の罹患率が1万人や10万人に1人といった場合。

$P_t \approx 0$ とすると(8)は以下のように変形できる。

(8) $\begin{eqnarray*} P_c &=& \frac{1}{1 + \dfrac{P_f}{P_h} \left( \dfrac{1}{P_t} - 1 \right) } = \frac{P_t}{P_t + \dfrac{P_F}{P_h} (1 - P_t)} \\ &=& \frac{\dfrac{P_h}{P_F} P_t}{1 + \left( \dfrac{P_h}{P_f} - 1 \right) P_t} \approx \frac{P_h}{P_F} P_t} \end{eqnarray*}$

すなわち、事前確率が十分に小さい場合は、検査の正誤判定確率の倍率分だけ事後確率が大きくなる。

たとえば難病検査の問題の場合、 $P_h = 0.9 , \; P_f = 0.2$ として、 $P_t$ が小さくなるほど、事後確率は正誤判定確率の倍率0.9/0.2 = 4.5倍に近づく。

(9) $\begin{eqnarray*} P_t = 0.1 & \rightarrow & P_c = \frac{0.9 \times 0.1}{0.9 \times 0.1 + 0.2 \times 0.9} \approx 0.333 \\ P_t = 0.01 & \rightarrow & P_c = \frac{0.9 \times 0.01}{0.9 \times 0.01 + 0.2 \times 0.99} \approx 0.0435 \\ P_t = 0.001 & \rightarrow & P_c = \frac{0.9 \times 0.001}{0.9 \times 0.01 + 0.2 \times 0.999} \approx 0.00448 \\ P_t = 0.0001 & \rightarrow & P_c = \frac{0.9 \times 0.0001}{0.9 \times 0.01 + 0.2 \times 0.9999} \approx 0.000449 \end{eqnarray*}$

条件付き確率～ベイズの定理

2019-07-01 / tau / コメントする

基本

条件付き確率～ベイズの定理（Baye’s theorem）はとっつきにくいが、記号の使い方や図で理解することでわかりやすくなる。

事象 $C$ が起こったときの事象 $T$ の条件付き確率は、以下で計算される。

(1) $\begin{equation*} P(T|C) = \frac{P(T \cap C)}{P(C)} \end{equation*}$

事象の記号にに $A$ や $B$ を使うのが一般的だが、私にはどちらが条件で、どちらを最終的に求めたいのかわかりにくいので、ここで $T$ :Target、 $C$ :Conditionの記号を使った

$P(C)$ は事前確率、 $P(T|C)$ は事後確率、 $P(T \cap C)$ は同時確率と呼ばれる。

ここで $P(T \cap C) = P(T|C)P(C) = P(C|T)P(T)$ から、以下のようにも表現される。

(2) $\begin{equation*} P(T|C) = \frac{P(C|T)P(T)}{P(C)} \end{equation*}$

一般表現

より一般的には、事象 $T_i (i=1,2,\ldots ,n)$ は互いに排反で、 $C \subset T_1 \cup T_2 \ldots \cup T_n$ とするとき、

(3) $\begin{equation*} P(T_k |C) = \frac{P(C|T_k)P(T_k)}{\displaystyle \sum_{i=1}^n P(C|T_i)P(T_i)} \end{equation*}$

たとえば $T_k$ が背反する2事象、すなわち $T, \overline{T}$ の場合は以下のようになる。

(4) $\begin{equation*} P(T|C) = \frac{P(C|T)P(T)}{P(C|T)P(T) + P(C|\overline{T})P(\overline{T})} \end{equation*}$

具体例として、癌などの難病の検査に関する問題が見られる。

また、ベイズの定理についてこちらでもう少し詳しい解釈をしている。

微分の公式

2019-06-29 / tau / コメントする

微分の定義

初等的な微分の定義は以下の通り。

(1) $\begin{equation*} f'(x) = \frac{d f(x)}{dx} = \lim_{\Delta x \rightarrow 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \end{equation*}$

関数の積・商の微分

関数の積の微分

(2) $\begin{equation*} f(x) = u(x) v(x) \rightarrow f'(x) = u(x) v'(x) + u'(x) v(x) \end{equation*}$

(3) $\begin{equation*} f'(x) = \lim_{\Delta x \rightarrow 0} \frac{u(x + \Delta x) v(x + \Delta x) - u(x) v(x)}{\Delta x} \end{equation*}$

ここで

(4) $\begin{eqnarray*} u(x + \Delta x) &=& u(x) + u'(x) \Delta x + o({\Delta x}^2) \\ v(x + \Delta x) &=& v(x) + v'(x) \Delta x + o({\Delta x}^2) \end{eqnarray*}$

したがって、

(5) $\begin{equation*} u(x + \Delta x) v(x + \Delta x) = u(x) v(x) + u(x) v'(x) \Delta x + u'(x) v(x) \Delta x + o({\Delta x}^2) \end{equation*}$

これより以下を得る。

(6) $\begin{eqnarray*} f'(x) &=& \lim_{\Delta x \rightarrow 0} \frac{u(x) v'(x) \Delta x + u'(x) v(x) \Delta x + o({\Delta x}^2)}{\Delta x} \\ &=& u(x) v'(x) + u'(x) v(x) \end{eqnarray*}$

関数の商の微分

(7) $\begin{equation*} f(x) = \frac{v(x)}{u(x)} \rightarrow f'(x) = \frac{u(x) v'(x) - u'(x) v(x)}{u(x) ^2} \end{equation*}$

(8) $\begin{equation*} f(x) = \frac{v(x)}{u(x)} \Leftrightarrow v(x) = f(x) u(x) \end{equation*}$

(9) $\begin{equation*} v'(x) = f'(x) u(x) + f(x) u'(x) = f'(x) u(x) + \frac{v(x) u'(x)}{u(x)} \end{equation*}$

これより(7)を得る。

合成関数の微分

(10) $\begin{eqnarray*} y = f(u(x)) & \rightarrow & \frac{dy}{dx} = f'(u(x))u'(x) \\ &{\rm or}& \\ \frac{dy}{dx} &=& \frac{dy}{du} \frac{du}{dx} \end{eqnarray*}$

$u(x + \Delta x) - u(x) = \Delta u(x)$ とおくと、

(11) $\begin{eqnarray*} && lim_{x \rightarrow \infty} \frac{f(u(x + \Delta x)) - f(u(x))}{\Delta x} \\ &=& lim_{x \rightarrow \infty} \frac{f(\Delta u(x)) - f(u(x))}{\Delta u(x)} \frac{\Delta u(x)}{\Delta x} \\ &=& f'(u(x))u'(x) \end{eqnarray*}$

逆関数の微分

(12) $\begin{eqnarray*} y = f^{-1}(x) & \rightarrow & \frac{dy}{dx} = \frac{1}{f'(x)} \\ &{\rm or}& \\ \frac{dx}{dy} &=& \frac{1}{\frac{dy}{dx}} \end{eqnarray*}$

(13) $\begin{equation*} y = f^{-1}(x) \rightarrow f(y) = x \end{equation*}$

とおいて、合成関数の微分より、

(14) $\begin{eqnarray*} f'(y) \frac{dy}{dx} = 1 \\ \therefore \frac{dy}{dx} = \frac{1}{f'(y)} \end{eqnarray*}$

媒介変数表示

(15) $\begin{equation*} x = u(t), y = v(t) \rightarrow \frac{dy}{dx} = \frac{\frac{dy}{dt}}{\frac{dx}{dt}} = \frac{v'(t)}{u'(t)} \end{equation*}$

$\Delta u(t) = u(t + \Delta t) - u(t)$ 、 $\Delta v(t) = v(t + \Delta t) - v(t)$ とおいて、

(16) $\begin{equation*} \lim_{n \rightarrow \infty} \frac{\Delta v(t)}{\Delta u(t)} = \lim_{n \rightarrow \infty} \frac{v(t + \Delta t) - v(t)}{\Delta t} \frac{\Delta t}{u(t + \Delta t) - u(t)} = \frac{v'(t)}{u'(t)} \end{equation*}$

中心極限定理

2019-06-16 / tau / コメントする

概要

中心極限定理(central limit theorem: CLT)は、一言で言えば次のようになる。「母集団がどのような確率分布に従うとしても、標本の数を十分大きくしたときには、その合計値あるいは標本平均は、正規分布に従う」

具体的には、母集団の平均を $\mu$ 、標準偏差を $\sigma$ とし、 $n$ が十分に大きいとき、

標本の合計 $S_n = \sum X_{i}$ は正規分布 $N(n \mu,n\sigma^2)$ に従う
標本平均 $\overline{X}_n = \frac{1}{n} \sum X_{i}$ は正規分布 $N(\mu, \frac{\sigma^2}{n})$ に従う

表現

中心極限定理は、一般には以下のように表される。

(1) $\begin{equation*} \lim_{n \rightarrow \infty} \Pr \left( \frac{S_n - n \mu}{\sqrt{n} \sigma} \leq \alpha \right) = \int_{-\infty}^{\alpha} \frac{1}{\sqrt{2} \pi} e^{- \frac{x^2}{2}} dx \end{equation*}$

これを少し変形すると、

(2) $\begin{equation*} \lim_{n \rightarrow \infty} \Pr \left( \frac{\overline{X}_n - \mu}{\sigma / \sqrt{n}} \leq \alpha \right) = \int_{-\infty}^{\alpha} \frac{1}{\sqrt{2} \pi} e^{- \frac{x^2}{2}} dx \end{equation*}$

実用

たとえば、サイコロを $n$ 回振った目の合計を考える。全て1（合計が $n$ ）や全て6（合計が6 $n$ ）というケースは稀なので、その間の値になりそうだと予想される。

中心極限定理を用いると、 $n$ 個のサイコロの目の平均と分散より、 $n$ 個のサイコロの目の合計は、 $N( \frac{7}{2} , \frac{35}{12n})$ に従うことになる。

これをRの下記コードで試してみた。一回の試行でサイコロを投げる回数をn.dicesに設定して、その平均を求める試行を1000回繰り返す。

n.dices <- 5
n.data <- 1000
num.data <- lambda * t.obs

data <- c()
for (i in 1:n.data) {
  data <- c(data, mean(as.integer(runif(n.dices, min=1, max=7))))
}

ranks <- seq(0, 6, 0.5)
hist(data, breaks=ranks, prob=T, main=paste("n =", n.dices))
curve(dnorm(x, 7/2, 35/12/n.dices), add=TRUE)

n.dices <- 5

n.data <- 1000

num.data <- lambda * t.obs

data <- c()

for (i in 1:n.data) {

data <- c(data, mean(as.integer(runif(n.dices, min=1, max=7))))

}

ranks <- seq(0, 6, 0.5)

hist(data, breaks=ranks, prob=T, main=paste("n =", n.dices))

curve(dnorm(x, 7/2, 35/12/n.dices), add=TRUE)

n.dicesの回数を変化させた実行結果は以下の通りで、このケースの場合は、 $n$ =10程度でもかなり平均の周りに尖った分布となる。

CLT_dice_n=01 CLT_dice_n=02 n=5 n=10

単純な事象の平均と分散

2019-02-17 / tau / コメントする

コイン

コイントスで表→1、裏→0としたときの平均、分散。分布は{表, 裏]の一様分布。

平均

(1) $\begin{equation*} E(X) = 0\times \frac{1}{2} + 1 \times \frac{1}{2} = \frac{1}{2} \end{equation*}$

分散

(2) $\begin{equation*} V(X) = 0^2 \cdot \frac{1}{2} + 1^2 \cdot \frac{1}{2} - \left( \frac{1}{2} \right)^2 = \frac{1}{4} \end{equation*}$

サイコロ

サイコロ1つを投げたときの目の数の平均、分散。分布は{1,2, 3, 4, 5, 6}の一様分布。

平均

(3) $\begin{equation*} E(X) = \sum_{k=1}^6 k \times \frac{1}{6} = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = \frac{7}{2} = 3.5 \end{equation*}$

分散

(4) $\begin{eqnarray*} V(X) &=& \sum_{k=1}^6 k^2 \times \frac{1}{6} - \left( \frac{7}{2} \right)^2 = \frac{1 + 4 + 9 +16 + 25 + 36}{6} - \frac{49}{4} \\ &=& \frac{91}{6} - \frac{49}{4} = \frac{364-294}{24} = \frac{70}{24} \\ &=& \frac{35}{12} \simeq 2.92 \end{eqnarray*}$

トランプ

トランプを一枚引いたときの数の平均、分散。ここでAは1とする。分布は{1, …, 13}の一様分布。

平均

(5) $\begin{equation*} E(X) = \sum_{k=1}^{13} k\times \frac{1}{13} = \frac{13 \times 14}{2} \cdot \frac{1}{13} = 7 \end{equation*}$

分散

(6) $\begin{eqnarray*} V(X) &=& \sum_{k=1}^{13} k^2 \times \frac{1}{13} - 7^2 \\ &=& \frac{13 (13+1) (2 \cdot 13 +1)}{6} \frac{1}{13} -49 = \frac{14 \cdot 27}{6} -49 = 7 \cdot 9 - 49 \\ &=& 14 \end{eqnarray*}$

大数の法則

2019-02-10 / tau / コメントする

概要

大数の法則を簡単に言うと、「標本の数を多くとるほど、標本平均の値は母平均に近づく」というもので、感覚的には当たり前と思われることだが、数学的に証明できる。

「それでは、どの位の数を取ったときに、どの程度の平均からのズレで収まるのか？」という問に対しては、大数の法則は答えていない。

大数の弱法則と強法則

大数の法則には弱法則と強法則の2つがあり、それぞれ次のように表される。

大数の弱法則

標本平均 $\overline{X}_n=\sum \frac{X_i}{n}$ の標本数を限りなく多くとれば、その $\overline{X}$ が平均 $\mu$ の近傍からはずれる確率をいくらでも小さくできる。

(1) $\begin{equation*} \lim_{n \rightarrow \infty} \Pr( |\overline{X}_n - \mu| > \varepsilon ) = 0 \end{equation*}$

証明

チェビシェフの不等式に $\overline{X}_n$ を適用する。

(2) $\begin{equation*} \Pr ( |\overline{X}_n - E(\overline{X}_n)| \geq \varepsilon) \leq \frac{V(\overline{X}_n)}{\varepsilon^2} \end{equation*}$

ここで標本平均の期待値と分散を適用して極限をとると

(3) $\begin{equation*} \lim_{n \rightarrow \infty} \Pr ( |\overline{X}_n -\mu)| \geq \varepsilon) \leq \lim_{n \rightarrow \infty} \frac{\sigma / n}{\varepsilon^2} = 0 \end{equation*}$

大数の強法則

標本平均 $\overline{X}_n=\sum \frac{X_i}{n}$ の標本数を限りなく多くとれば、 $\overline{X}$ はほぼ確実に(確率1で) $\mu$ に収束する。

(4) $\begin{equation*} \Pr ( \lim_{n \rightarrow \infty} \overline{X}_n = \mu) = 1 \end{equation*}$

対数の強法則は弱法則に比べて強い主張であり、その分証明は難しくなるとのこと。

標準正規分布

2019-02-10 / tau / コメントする

標準正規分布の使い方

平均 $\mu$ 、分散 $\sigma^2$ の正規分布 $N(\mu, \sigma^2)$ の確率密度関数は以下の通り。

(1) $\begin{equation*} f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \end{equation*}$

この場合、 $X \leq t$ となる確率は以下のように表される。

(2) $\begin{equation*} \Pr(X \leq t) = \int_{-\infty}^{t} f(x) dx = \int_{-\infty}^{t} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) dx \end{equation*}$

ここで、確率変数を以下のように変換する。

(3) $\begin{equation*} Z = \frac{X - \mu}{\sigma} \quad , \quad u = \frac{t - \mu}{\sigma} \end{equation*}$

これを式(2)に適用し、 $dx = \sigma dz$ に留意して、

(4) $\begin{equation*} \Pr(X \leq t) &=& Pr \left( \frac{X - \mu}{\sigma} \leq \frac{t - \mu}{\sigma} \right) = \int_{-\infty}^{\frac{t - \mu}{\sigma}} \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{z^2}{2} \right) dz\end{equation*}$

標準正規分布の確率に対する確率変数 $u$ の値を覚えていれば、母集団の平均と標準偏差が与えられたとき、上記の変数変換を行って、確率値を得ることができる。

例題

厚生労働省による「平成29年国民健康・栄養調査報告」によると、26歳～29歳の日本人男性の身長は、平均が171.0cm、標準偏差が5.8cmとなっている。この年代層で身長が180cmを超える確率は、

(5) $\begin{equation*} Pr(X > 180) = Pr \left(Z > \frac{180 - 171.0}{5.8} \right) = Pr(Z > 1.5517) \end{equation*}$

このuの典型的な値と確率のセットを覚えておけば、確率を知ることができる。この場合は1.5より少し大きいので、超過確率は6％程度とわかる（より正確には6.04％）。

$u$ が0.5なら3割程度、1なら16%、1.5で6.7%になる。

逆に超過確率25%なら $u$ =0.67、10%なら1.28、5%（両側90%以内）で1.64、2.5%（両側95%以内）なら1.96。

標準正規分布の確率

典型的な値

標準正規分布の $Z$ に対する確率 $\Pr(Z \leq u)$ の $u$ に対する確率は標準正規分布表で与えられているが、以下の値は覚えておくとよい。

z	$\Pr(Z > u)$	$\Pr(-u \leq Z \leq u)$
0.5	0.31	0.38
0.67449 (0.67)	0.25	0.5
0.84162	0.2	0.6
1	0.16	0.68
1.03643	0.15	0.7
1.15035	0.125	0.75
1.28155 (1.28)	0.1	0.8
1.5	0.067	0.87
1.64485 (1.64)	0.05	0.9
1.95996 (1.96)	0.025	0.95
2	0.023	0.95
2.32635 (2.32)	0.01	0.98
2.57584 (2.58)	0.005	0.99

標準正規分布表

std_norm_dist_table

チェビシェフの不等式

2019-02-10 / tau / コメントする

チェビシェフの不等式は何がありがたいかというと、「確率分布がどのようなものであっても、平均と分散の値さえわかっていれば、確率変数の値が平均からはずれる確率がいくら以下か計算できる」ということにある。

たとえばあるデータの平均が $\mu$ 、分散が $\sigma^2$ とわかっているとき、データが $\mu$ から $\pm a$ より外れる確率が少なくともどの程度以下か(あるいはその範囲に収まる確率が少なくともどの程度以上か)、というのを教えてくれる。

チェビシェフの不等式は、以下のようにいくつかの表し方がある

(1) $\begin{equation*} \Pr(|X - \mu| \geq k) \leq \frac{\sigma^2}{k^2} \end{equation*}$

ここで $k = a\sigma$ とおけば、

(2) $\begin{equation*} \Pr (|X - \mu| \geq a \sigma ) \leq \frac{1}{a^2} \end{equation*}$

これを余事象で表すと、

(3) $\begin{equation*} \Pr (|X - \mu| < a\sigma) \geq 1 - \frac{1}{a^2} \end{equation*}$

ただし、これらの式において $k > 1$ 。

この不等式の意義は、確率変数がどのような確率分布に従っているとしても成り立つところにある。ただし、その過程で相当の”切り落とし”をしているので実用的な精度ではない。

たとえば母集団が標準正規分布に従う場合、 $Z=2,3$ に対して0.9545、0.9973であるのに対して、チェビシェフの不等式では $|X - \mu| \leq a \sigma$ となる確率は $a = 2, 3$ に対して、 $0, \frac{3}{4}=0.75, \frac{8}{9}=0.899...$ 以上となる。

証明：離散確率

離散確率で、 $|X - \mu|$ の値に応じて確率変数を以下のように区分する。

(4) $\begin{equation*} \{X = x_i : |x_i - \mu| \geq k\} \ ,\ \{X = y_j : |y_j - \mu| < k\} \end{equation*}$

また、以下の確率分布を定義する。

(5) $\begin{equation*} \Pr(|X - \mu| \geq k) = \sum P(X = x_i) \end{equation*}$

このとき、以下が成り立つ。

(6) $\begin{eqnarray*} \sigma^2 &=& \sum (x_i - \mu)^2 P(X=x_i) + \sum (y_j - \mu) P(X=y_j) \\ &\geq& \sum (x_i - \mu)^2 P(X=x_i) \\ &\geq& \sum k^2 P(X=x_i) \ \leftarrow {\rm where} \ k > 1\\ &\geq& k^2 \sum \Pr(X=x_i) \\ &=& k^2 \Pr(|X - \mu| \geq k) \end{eqnarray*}$

(7) $\begin{equation*} \therefore \ \Pr(|X - \mu| \geq k) \leq \frac{\sigma^2}{k^2} \end{equation*}$

証明：連続確率

確率の定義から以下が成り立つ。

(8) $\begin{equation*} \Pr(|X-\mu| \geq k ) = \int_{-\infty}^{\mu - k} f(x) dx + \int_{\mu + k}^{\infty} f(x) dx \\ \end{equation*}$

ここで、以下のように変数を変換する。

(9) $\begin{equation*} y = x - \mu \end{equation*}$

これより、以下が成り立つ。

(10) $\begin{eqnarray*} \sigma^2 &=& \int_{-\infty}^{\infty} (x - \mu)^2 f(x) dx \\ &=& \int_{-\infty}^{-k} y^2 f(x) dy + \int_{-k}^{k} y^2 f(x) dy + \int_{k}^{\infty} y^2 f(x) dy \\ &\geq& \int_{-\infty}^{-k} y^2 f(x) dy + \int_{k}^{\infty} y^2 f(x) dy \\ &\geq& \int_{-\infty}^{-k} k^2 f(x) dy + \int_{k}^{\infty} k^2 f(x) dy \ \leftarrow {\rm where} \ k > 1 \\ &=& k^2 \left( \int_{-\infty}^{-k} f(x) dy + \int_{k}^{\infty} f(x) dy \right) \\ &=& k^2 \left( \int_{-\infty}^{\mu -k} f(x) dx + \int_{\mu + k}^{\infty} f(x) dx \right) \\ &=& k^2 \Pr(|X-\mu| \geq k ) \end{eqnarray*} \\$

(11) $\begin{equation*} \therefore \ \Pr(|X - \mu| \geq k) \leq \frac{\sigma^2}{k^2} \end{equation*}$