確率統計 – ページ 2

分散の定義

標本分散・母分散は、標本値や確率変数の平均からの偏差の自乗平均で定義される。

(1) $\begin{equation*} s^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x})^2 \end{equation*}$

(2) $\begin{equation*} \sigma^2 = \sum_{i=1}^{n} (x_i - \mu) {\rm Pr}(X = x_i) \end{equation*}$

(3) $\begin{equation*} \sigma^2 = \int_{-\infty}^{\infty} (x - \mu) f(x) dx \end{equation*}$

分散の定義の一般形は以下の通りで、母集団の確率分布によらない。

(4) $\begin{equation*} V(X) = E((X - E(X))^2) = E(X^2) - (E(X))^2 \end{equation*}$

証明

(5) $\begin{eqnarray*} E((X - E(X))^2) &=& E(X^2 - 2X E(X) + (E(X))^2) \\ &=& E(X^2) - 2(E(X))^2 + (E(X))^2 \\ &=& E(X^2) - (E(X))^2 \end{eqnarray*}$

分散の性質

分散には以下の性質がある。

(6) $\begin{equation*} V(X + t) = V(X) \end{equation*}$

(7) $\begin{equation*} V(aX) = a^2 V(X) \end{equation*}$

(8) $\begin{equation*} V(X + Y) = V(X) + V(Y) + 2{\rm Cov}(X, Y) \end{equation*}$

定数加算

標本値、確率変数に定数を加えても、分散の値は変わらない。これは、分散が各標本値・確率変数の平均からの偏差の平均であり、定数のバイアスはキャンセルアウトされることから明らかでもある。

$\begin{equation*} V(X + t) = V(X) \end{equation*}$

証明

(9) $\begin{eqnarray*} V(X + t) &=& E((X + t)^2) - (E(x + t))^2 \\ &=& E(X^2 + 2Xt + t^2) - (E(X)) + t)^2 \\ &=& E(X^2) + 2t E(X) + t^2 - (E(X))^2 - 2t E(X) - t^2 \\ &=& E(X^2) - (E(X))^2 \\ &=& V(X) \end{eqnarray*}$

定数倍

標本値、確率変数を定数倍した場合、分散の値は定数の自乗倍になる。これは、分散の定義の形からも明らか。

$\begin{equation*} V(aX) = a^2 V(X) \end{equation*}$

証明

(10) $\begin{eqnarray*} V(aX) &=& E((aX)^2) - (E(ax))^2 \\ &=& a^2 (E(X^2) - (E(X))^2) \\ &=& a^2 V(X) \end{eqnarray*}$

和の分散

2変数の場合

二つの標本値の組や確率変数を加えた場合の分散は、それぞれの分散の和に双方の共分散を加えた値になる。平均のような線形性がなく、2変数の和の2乗を展開した形と類似している。

$\begin{equation*} V(X + Y) = V(X) + V(Y) + 2{\rm Cov}(X, Y) \end{equation*}$

証明

(11) $\begin{eqnarray*} V(X + Y) &=& E((X + Y)^2) - (E(X + Y))^2 \\ &=& E(X^2 + Y^2 + 2XY) - (E(X) + E(Y))^2 \\ &=& E_{XX} + E_{YY} + 2E_{XY} - {E_X}^2 - {E_Y}^2 - 2E_X E_Y \\ &=& E_{XX} - {E_X}^2 + E_{YY} - {E_Y}^2 +2(E_{XY} - E_X E_Y) \\ &=& V(X) + V(Y) + 2{\rm Cov}(X, Y) \end{eqnarray*}$

上式で $E(X) = E_X, E(X^2) = E_{XX}$ などと置き換えている。

3変数の場合

3つ確率変数の和の場合は以下の通りで、3つの変数の和の2乗を展開した形と類似している。

(12) $\begin{align*} V(X+Y+Z) = &V_{XX} + V_{YY} + V_{ZZ} \\ &+ 2\rm{Cov}(X, Y) + 2\rm{Cov}(Y, Z) + 2\rm{Cov}(Z, X) \end{align*}$

証明

(13) $\begin{align*} &V(X+Y+Z) \\ &= E((X+Y+Z)^2) - E(X+Y+Z)^2 \\ &= E(X^2 + Y^2 + Z^2 + 2XY + 2YZ + 2ZX)\\ &\quad - ( E(X) + E(Y) + E(Z) )^2 \\ &= E_{XX} + E_{YY} + E_{ZZ} + 2E_{XY} + 2E_{YZ} + 2E_{ZX} \\ &\quad - {E_X}^2 + {E_Y}^2 + {E_Y}^2 - 2E_X E_Y - 2E_Y E_Z - 2E_Z E_X \\ &= V_{XX} + V_{YY} + V_{ZZ} + 2\rm{Cov}(X, Y) + 2\rm{Cov}(Y, Z) + 2\rm{Cov}(Z, X) \end{align*}$

和の分散～独立な場合

確率変数 $X$ と $Y$ が独立なとき、次項で示すように共分散がゼロとなり、以下が成り立つ。

(14) $\begin{equation*} V(X + Y) = V(X) + V(Y) \end{equation*}$

共分散の定義

2つの標本値、確率変数の共分散は以下で定義される。

(15) $\begin{equation*} {\rm Cov}(X, Y) = \frac{1}{n} \sum_{i=1}^{n} (x_i - \overline{x})(y_i - \overline{y}) \end{equation*}$

これは以下のようにも表現できる。

(16) $\begin{equation*} {\rm Cov}(X, Y) = E((X-E(X))(Y - E(Y)) = E(XY) - E(X) E(Y) \end{equation*}$

証明

(17) $\begin{eqnarray*} E((X-E(X))(Y - E(Y)) &=& E(XY -X E_Y - Y E_X + E_X E_Y) \\ &=& E_{XY} - E_X E_Y - E_X E_Y + E_X E_Y \\ &=& E_{XY} - E_X E_Y \end{eqnarray*}$

共分散は、2つの標本値、確率変数に正の相関が強い場合に生となり、負の相関が強い場合に負となる。また、相関が弱い場合にゼロに近くなる。

共分散の性質

定数加算

共分散の変数に定数を加えても、加える前の共分散と同じ値になる。定数をいずれの変数に加えても同じ。

(18) $\begin{eqnarray*} {\rm Cov}(X + t, Y) &=& E((X + t)Y) - E(X + t) E(Y) \\ &=& E(XY + tY) - E(X)E(Y) - tE(Y) \\ &=& E(XY) + tE(Y) - E(X) E(Y) - tE(Y) \\ &=& {\rm Cov}(X, Y) \end{eqnarray*}$

定数倍

共分散の変数を定数倍すると、もとの共分散の定数倍になる。両方の変数を定数倍すると、もとの共分散に双方の定数の積を乗じた値になる。

(19) $\begin{eqnarray*} {\rm Cov}(aX, Y) &=& E(aXY) - E(aX) E(Y) \\ &=& a(E(XY) - E(X) E(Y)) \\ &=& a{\rm Cov}(X, Y) \end{eqnarray*}$

和の共分散

標本値、確率変数の和は、加える前の個々の共分散の和になる。すなわち、共分散においては分配法則が成り立つ。

(20) $\begin{equation*} {\rm Cov}(X + Z, Y) = {\rm Cov}(X, Y) + {\rm Cov}(Z, Y) \end{equation*}$

証明

(21) $\begin{eqnarray*} {\rm Cov}(X + Z, Y) &=& E((X + Z)Y) - E(X + Z) E(Y) \\ &=& E(XY + ZY) - (E(X) + E(Z)) E(Y) \\ &=& E(XY) - E(X) E(Y) + E(ZY) - E(Z) E(Y) \\ &=& {\rm Cov}(X, Y) + {\rm Cov}(Z, Y) \end{eqnarray*}$

独立事象の共分散

2つの確率変数の事象が独立な場合、共分散はゼロとなる。

証明：離散型確率変数

$X$ と $Y$ が独立ならば、その同時生起確率はそれぞれの確率の積となるので。

(22) $\begin{equation*} {\rm Pr}(X = x_i, Y = y_j) = {\rm Pr}(X = x_i) {\rm Pr}(Y = y_j) = {\rm Pr}(x_i) {\rm Pr}(y_j) \end{equation*}$

これより

(23) $\begin{eqnarray*} E(XY) &=& \sum_{i=1}^{m} \sum_{j=1}^{n} x_i y_j {\rm Pr}(x_i) {\rm Pr}(y_j) \\ &=& \sum_{i=1}^{m} \left(x_i {\rm Pr}(x_i) \sum_{j=1}^{n} y_j {\rm Pr}(y_j) \right) \\ &=& \sum_{i=1}^{m} x_i {\rm Pr}(x_i) E(Y) \\ &=& E(X) E(Y) \end{eqnarray*}$

これを定義式に適用して ${\rm Cov}(X, Y) = 0$ が確認できる。

証明：連続型確率変数

$X$ と $Y$ が独立なとき、その確率密度はそれぞれの確率密度の積となる。

(24) $\begin{equation*} f(x, y) = g(x)h(y) \end{equation*}$

これより

(25) $\begin{eqnarray*} E(XY) &=& \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x y g(x) h(y) dx dy \\ &=& \int_{- \infty}^{\infty} \left( x g(x) \int_{- \infty}^{\infty} y h(y) dy \right) dx \\ &=& \int_{- \infty}^{\infty} \left( x g(x) E(Y) \right) dx \\ &=& E(X) E(Y) \end{eqnarray*}$

これを定義式に適用して ${\rm Cov}(X, Y) = 0$ が確認できる。

線形関係の場合の共分散

XとYが完全な線形関係にある場合の共分散は、XまたはY(いずれでもよい)の分散の定数倍になる。

証明

(26) $\begin{align*} {\rn Cov}(X, Y) &= E(XY) - E(X) E(Y) \\ &= E(X (aX + b)) - E(X)\left( E(aX + b) \right) \\ &= E(aX^2 + bX) - E(X) \left(a E(X) + b \right) \\ &= aE(X^2) + b E(X) - aE(X)^2 - b E(X) \\ &= aV(X) = \frac{V(Y)}{a} \end{align*}$

定義

平均の定義には標本平均と確率変数の平均があって、それぞれ定義が異なるので、ここで整理する。

標本平均に対しては算術平均、幾何平均、調和平均などの定義があるが、ここでは算術平均を対象とする。

標本平均

標本平均は、標本データの値を足し合わせてその個数で割った値。

標本の値が $X : \{x_1, x_2, \cdots , x_n\}$ のとき、標本平均 $\overline{x}$ は標本値の算術平均で定義される。

(1) $\begin{equation*} \overline{x} = E(X) = \frac{1}{n} \sum_{i=1}^{n} x_i \end{equation*}$

確率変数の平均

確率変数の平均は、離散型の場合と連続型の場合それぞれで定義される。

離散型の確率変数 $X$ が $\{x_1, x_2, \cdots , x_n\}$ の値を取り、それぞれの値をとる確率を ${\rm Pr}(X = x_i)$ と表すと、 $X$ の母平均 $\mu$ は確率変数とその確率変数の発生確率の積の総和で定義される。

(2) $\begin{equation*} \mu = E(X) = \sum_{i=1}^{n} x_i {\rm Pr}(X = x_i) \end{equation*}$

連続型の確率変数の平均は、確率密度関数を $f(x)$ とすると、 $X$ の母平均 $\mu$ は、確率変数とその値に対する確率密度の積の全定義域における積分で定義される。

(3) $\begin{equation*} \mu = E(X) = \int_{- \infty}^{\infty} x f(x) dx \end{equation*}$

平均(期待値)の性質

平均(期待値)には以下の性質がある。これらは、母集団の確率分布に関係なく常に成り立つ。

(4) $\begin{equation*} E(X+t) =E(X)+t \end{equation*}$

(5) $\begin{equation*} E(aX) =a E(X) \end{equation*}$

(6) $\begin{equation*} E(X+Y) =E(X)+E(Y) \end{equation*}$

定数加算

標本値、確率変数に定数を加えた場合の平均は、元の平均に定数を加えた値に等しい。

$\begin{equation*} E(X+t) =E(X)+t \end{equation*}$

証明：標本平均

(7) $\begin{equation*} E(X+t) = \frac{1}{n} \sum_{i=1}^{n} (x_i + t) = \frac{1}{n} \sum_{i=1}^{n} x_i + \frac{1}{n} \sum_{i=1}^{n} t = E(X) + t \end{equation*}$

証明：離散型確率変数

(8) $\begin{eqnarray*} E(X + t) &=& \sum_{i=1}^{n} (x_i + t){\rm Pr}(X = x_i) \\ &=& \sum_{i=1}^{n} x_i {\rm Pr}(X = x_i) + t \sum_{i=1}^{n} {\rm Pr}(X = x_i) \\ &=& E(X) + t \end{eqnarray*}$

証明：連続型確率変数

(9) $\begin{eqnarray*} E(X + t) &=& \int_{- \infty}^{\infty} (x + t) f(x) dx \\ &=& \int_{- \infty}^{\infty} x f(x) dx + t \int_{- \infty}^{\infty} f(x) dx \\ &=& E(X) + t \end{eqnarray*}$

定数倍

標本値、確率変数を定数倍した場合の平均は、元の平均の定数倍に等しい。

$\begin{equation*} E(aX) =aE(X) \end{equation*}$

証明：標本平均

(10) $\begin{equation*} E(aX) = \frac{1}{n} \sum_{i=1}^{n} ax_i = a \cdot \frac{1}{n} \sum_{i=1}^{n} x_i = a E(X) \end{equation*}$

証明：離散型確率変数

(11) $\begin{equation*} E(aX) &=& \sum_{i=1}^{n} a x_i {\rm Pr}(X = x_i) = a \sum_{i=1}^{n} x_i {\rm Pr}(X = x_i) = a E(X) \end{equation*}$

証明：連続型確率変数

(12) $\begin{equation*} E(aX) &=& \int_{- \infty}^{\infty} ax f(x) dx = a \int_{- \infty}^{\infty} x f(x) dx = a E(X) \end{equation*}$

和の平均

複数の標本値（データセット）、確率変数を加えた場合の平均は、それぞれの平均の和に等しい

$\begin{equation*} E(X + Y) = E(X) + E(Y) \end{equation*}$

証明：標本平均

(13) $\begin{equation*} E(X+Y) = \frac{1}{n} \sum_{i=1}^{n} (x_i + y_i) = \frac{1}{n} \sum_{i=1}^{n} x_i + \frac{1}{n} \sum_{i=1}^{n} y_i = E(X) + E(Y) \end{equation*}$

証明：離散型確率変数

確率変数 $X$ が $x_i (i=1～m)$ 、 $Y$ が $y_j (j=1～n)$ であり、 $X$ 、 $Y$ はそれぞれの確率分布に従うとする。また、 $X$ と $Y$ の同時生起確率を ${\rm Pr}(x_i,y_j)$ と表す。

このとき、確率変数 $X+Y$ の平均は以下のように計算される。

(14) $\begin{eqnarray*} E(X+Y) &=& \sum_{i=1}^{m} \sum_{j=1}^{n} (x_i + y_j) {\rm Pr}(x_i,y_j) \\ &=& \sum_{i=1}^{m} \sum_{j=1}^{n} x_i {\rm Pr}(x_i,y_j) + \sum_{i=1}^{m} \sum_{j=1}^{n} y_j {\rm Pr}(x_i,y_j) \end{eqnarray*}$

上式の第1項についてみると、 $x_i$ の値に対してすべての $y_j$ のとりうる値を考慮していることから、 $x_i$ とそれに対する生起確率 ${\rm Pr}(X = x_i)=Pr(x_i)$ となり、第1項は $X$ の平均となる。

(15) $\begin{equation*} \sum_{i=1}^{m} \sum_{j=1}^{n} x_i {\rm Pr}(x_i,y_j) = \sum_{i=1}^{m} x_i {\rm Pr}(x_i) \end{equation*}$

第2項も同様に $Y$ の平均なので、以下が成り立つ。

$\begin{equation*} E(X + Y) = E(X) + E(Y) \end{equation*}$

証明：連続型確率変数

確率変数 $X:x , Y:y$ に対する同時生起確率密度を $f(x, y)$ とすると、

(16) $\begin{eqnarray*} E(X,Y) &=& \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (x + y) f(x, y) dy dx \\ &=& \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x f(x, y) dydx + \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} y f(x, y) dxdy \end{eqnarray*}$

離散型と同様の考え方により、上式の第1項、第2項はそれぞれ $X, Y$ の平均となり、次式が成り立つ。

$\begin{equation*} E(X + Y) = E(X) + E(Y) \end{equation*}$