尤度関数、スコア関数、フィッシャー情報量とは？

尤度関数、対数尤度関数、スコア関数とは

尤度関数、対数尤度関数、スコア関数の定義は次のようになります。

パラメータが$\theta$である母集団の従う分布の確率密度関数を$f(x;\theta)$としたとき、それぞれ以下のようになる。

尤度関数

$L(\theta)=f(x;\theta)$

対数尤度関数

$l(\theta)=logL(\theta)$

スコア関数

$V(\theta)=\frac{\partial}{\partial\theta}l(\theta)=\frac{\partial}{\partial\theta}logL(\theta)$

尤度関数は確率密度関数と形は同じですが、確率密度関数は$𝜃$を固定した上での$x$の関数であるのに対し、尤度関数は$x$を固定した上での$𝜃$の関数として見ています。

対数尤度関数は尤度関数に対数をとったもの、スコア関数は対数尤度関数を微分したものです。

スコア関数の性質

スコア関数は、期待値をとると

$E[V(X,\theta)]=\int f(x;\theta)\frac{\partial}{\partial\theta}logf(x;\theta)dx$

$=\int f(x;\theta)\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}dx$

$=\int\frac{\partial}{\partial\theta}f(x;\theta)dx$

微分と積分の順序を入れ替えられるという正則条件のもとでは

$=\frac{\partial}{\partial\theta}\int f(x;\theta)dx$

$\int f(x;\theta)dx$は密度関数の積分値となるため1となり、1は定数であるため微分すると0になるので、

$=0$

つまり、スコア関数の期待値は0になります。

フィッシャー情報量とは

フィッシャー情報量の定義は以下のようになります。

スコア関数を$V(\theta)$とすると、

$J_n(\theta)=Var[V(\theta)]$

となる$J_n(\theta)$をフィッシャー情報量という

つまりフィッシャー情報量はスコア関数の分散です。

また、スコア関数の期待値が0になるという性質から、

$J_n(\theta)=Var[V(\theta)]=E[V(\theta)^2]-E[V(\theta)]^2=E[V(\theta)^2]$

となります。