不偏推定量とは？平均と分散を例に分かりやすく解説

不偏推定量とは

統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数$θ$の推定量を$\hat{θ}$と表すと、

$E(\hat{θ}) = θ$

を満たすようなものです。また、この時の推定量$\hat{θ}$を不偏推定量と言います。これは点推定の一種です。

 平均と分散の不偏推定量

例として、無作為標本$x_1,x_2,...,x_n$から推定できる、母集団の平均$μ$と分散$σ^2$の不偏推定量を考えてみます。

平均の不偏推定量

標本平均を$\bar{x}$とすると、

$E(\bar{x}) = E(\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } x_i) = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } E(x_i) = \frac{1}{n}×nμ = μ$

より、$E(\bar{x}) = μ$となるので、

母平均の不偏推定量$\hat{μ}$は標本平均の$\bar{x}$です。

また、

$V(\bar{x}) =\displaystyle(\frac{1}{n})^2 \sum_{ i = 1 }^{ n } V(x_i) = \frac{σ^2}{n}$

という性質も成り立ちます。

分散の不偏推定量（標本不偏分散）

平均の不偏推定量が標本平均だったので、分散の不偏推定量も標本平均から求めた分散$s^2 = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2$で表せそうですが、実際にはそうはなりません。

このことを確かめるために、$E(s^2)$を計算してみることにします。

$$\begin{equation*}\begin{split} E(s^2) &= E[\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2] \\ &=  \frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2) \\ &=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } [(x_i-μ)-(\bar{x} - μ)]^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2\displaystyle \sum_{ i = 1 }^{ n }(x_i-μ)(\bar{x} - μ)+\displaystyle \sum_{ i = 1 }^{ n }(\bar{x} - μ)^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2n(\bar{x} - μ)^2+n(\bar{x} - μ)^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-n(\bar{x} - μ)^2)\\ &=\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }E[(x_i-μ)^2]-E[(\bar{x} - μ)^2]\\ &=\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }V(x_i)-V(\bar{x}) \\ &= σ^2 - \frac{σ^2}{n} \\&= \frac{n-1}{n}σ^2\end{split}\end{equation*}$$

つまり、$E(s^2) ≠σ^2$であるので、標本平均から求めた分散は、母分散$σ^2$の不偏推定量ではないということが分かります。

では、母分散の不偏推定量$\hat{σ}^2$とは、どうなるのでしょうか。それは以下の式になります。

$\hat{σ}^2 = \frac{1}{n-1}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2$

そして、この式を満たす$\hat{σ}^2$を、標本不偏分散(または不偏分散)と言い、$S^2$で表します。

母分散が未知の場合の解析に使われる母分散の推定値が、この標本不偏分散なので非常に重要な概念として覚えておきましょう。