クラメール・ラオの下限の解説と証明

クラメール・ラオの下限とは

クラメール・ラオの下限とは、以下のような説明されます。

不偏推定量$\hat{\theta}$に対して、以下を満たす。

$V[\hat{\theta}]\geq J_n(\theta)^{-1}$

ただし、$J_n(\theta)$はフィッシャー情報量である。

クラメール-ラオの下限の証明

$\hat{\theta}$を不偏推定量とすると

$E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]$

$=Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]$

 ここで、相関係数の性質より

$(-1\leq)\frac{Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]}{\sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}}\leq 1$

である。よって、

$\leq \sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}$

$=\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}$

となる。

ここで左辺は、

$E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]$

$=E[\hat{\theta}\frac{\partial}{\partial\theta}logf(X;\theta)]-\theta E[\frac{\partial}{\partial\theta}logf(X;\theta)]$

スコア関数の期待値は0であることを利用（詳細はこちら）

$=\frac{\partial}{\partial\theta}E[\hat\theta]$

$=\frac{\partial}{\partial\theta}\theta$

$=1$

となる。両辺を比較すると、

$1\leq\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}$

両辺を2乗して、

$\Leftrightarrow 1\leq V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]$

$\Leftrightarrow \frac{1}{V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\leq V[\hat{\theta}]$

$V[\frac{\partial}{\partial\theta}logf(X;\theta)]=J_n(\theta)$であることを利用（詳細はこちら）

$\Leftrightarrow J_n(\theta)^{-1}\leq V[\hat{\theta}]$

関連記事

尤度関数、スコア関数、フィッシャー情報量とは？

【AVILEN 公式note】データサイエンティストの仕事とは