読者です 読者をやめる 読者になる 読者になる

【点推定】平均・分散・標準偏差を推定する方法

統計学 Formula/公式 Draft

次のような,1から4までの数字の書いてある玉が10個入った袋があるとします:
①:1個,②:2個,③:3個,④:4個

この袋の中身を知らない人が,「袋の中の玉を1つ取り出す→元に戻す」という操作
を$N$回繰り返して平均・分散・標準偏差を推定する方法について考えてみます.

平均値

平均値については,出た値$a_1,...,a_N$を平均すれば良さそうに思えます:
\begin{align}
\bar{a}=\frac{a_1+\cdots+a_N}{N}
\end{align}
これはつまり,$\{a_1,...,a_N\}$がすべての要素だと思ったときの平均を計算しているわけです.

分散

分散も同様に,$\{a_1,...,a_N\}$が全ての要素だと思って計算した分散
\begin{align}
\sigma^2_a=\frac{1}{N}\sum_{i=1}^N\left(a_i-\bar{a}\right)^2
\end{align}
で推定出来るのではないかと予想できます.

しかし,この推測は平均値については正しく,分散については正しくないことがわかります.
以下で詳しく見てみましょう.

一般化

上の「袋の中の玉を1つ取り出す→元に戻す」という操作は,「無作為標本」呼ばれる概念に一般化されます:

無作為標本 / Random sample
独立で同一の確率分布に従う確率変数列$\{X_i\}_{i=1}^N$を無作為標本と呼ぶ.

(以下では,確率変数列$\{X_i\}_{i=1}^N$の従う確率分布の平均値を$\mu$, 標準偏差を$\sigma$と表すことにします.)


このとき,上で考えた平均(標本平均 / Sample mean)は
\begin{align}
\bar{X}=\frac{1}{N}\sum_{i=1}^N X_i,
\end{align}
分散は
\begin{align}
S^2=\frac{1}{N}\sum_{i=1}^N \left(X_i-\bar{X}\right)^2
\end{align}
という確率変数を考えることに対応しています.


さて,確率変数$\bar{X}$, $S^2$の平均値が,それぞれ平均値$\mu$と分散$\sigma^2$に一致してくれれば「性質の良い」推定量と言えるでしょう (このような推定量を,不偏推定量 / unbiased estimatorと呼びます).


実際に計算してみると,

平均値

\begin{align}
E\bar{X}=\frac{1}{N}\sum_{i=1}^N EX_i=\mu\qquad(EX_i=\mu)
\end{align}
となり,不偏推定量であることがわかります.

分散

確率変数の独立性から$E\left[(\bar{X_i}-\mu)(\bar{X_j}-\mu) \right]=0,\,(i\neq j)$なので,
\begin{align}
V(\bar{X})
=E\left[(\bar{X}-E\bar{X})^2\right]
= E\left[\frac{1}{N}\sum_{i=1}^N(\bar{X_i}-\mu)\right]^2
= \frac{1}{N^2}\sum_{i=1}^N E\left[(\bar{X_i}-\mu)\right]^2
=\frac{\sigma^2}{N}
\end{align}
が成立します.よって,
\begin{align}
ES^2
&=\frac{1}{N}\sum_{i=1}^N \left[E(X_i^2)-E(\bar{X}^2)\right]\\
&=\frac{1}{N}\sum_{i=1}^N\left[V(X_i)+(EX_i)^2\right]-\left[V(\bar{X})+(E\bar{X})^2\right]
=(\sigma^2+\mu^2)-\left(\frac{\sigma^2}{N}+\mu^2\right)\\
&=\sigma^2-\frac{\sigma^2}{N}
\end{align}
となり,$\sigma^2/N$だけシフトしてしまいます.

従って,このシフト分を補正した
\begin{align}
s^2=\frac{N}{N-1}S^2=\frac{1}{N-1}\sum_{i=1}^N \left(X_i-\bar{X}\right)^2
\end{align}
が不偏推定量となります(不偏分散 / Unbiased variance).

まとめ

無作為標本$\{X_i\}_{i=1}^N$において,平均・分散の不偏推定量はそれぞれ \begin{align} &\bar{X}=\frac{1}{N}\sum_{i=1}^N X_i\\ &s^2=\frac{1}{N-1}\sum_{i=1}^N \left(X_i-\bar{X}\right)^2 \end{align} で与えられる.

参考文献

数理統計学 (数学シリーズ)
確率・統計