ベイズ推定と最尤推定を比較して解説

最尤推定とベイズ論の考え方

最尤推定とベイズ推定はよく比較されます。

最尤推定は頻度論に基づいた推定であるのに対し、ベイズ推定はベイズ論に基づいた推定です。

ベイズ論と頻度論の違いについては「ベイズ統計学の考え方〜ベイズ論と頻度論の違い〜」で解説しているので、あわせてご確認ください。

最尤推定とベイズ推定の共通点

ベイズ論と頻度論は一見全く違う考え方のように思えますが、非常に重要な関連があります。

これは、ベイズ推定と最尤推定の考え方の基礎部分である「データを固定してパラメータを動かす」という点が一致しているからです。

まず、最尤推定量の定義を確認しましょう。

パラメータ$\theta$に従う分布の密度関数を$f(x;\theta)$とする。尤度関数を$L(\theta;x)=f(x;\theta)$とすると、$L(\theta;x)$を最大にするような推定量$\theta=\hat{\theta}$を$\theta$の最尤推定量という。

ここでのポイントは、「$L(\theta;x)=f(x;\theta)$」が、同じように見えて実は違う式だということです。

例えば、次のような関数を考えます。

$f(x;a)=ax^2$

ここで$f(x;a)$というのは、$a$を固定したときの$x$ の関数であるということです。つまりこの関数は放物線（二次関数）になります。

次に、このような関数を考えます。

$g(a;x)=ax^2$

上の$f(x;a)$と同じ式ですが、これは$x$を固定したときの$a$ の関数になっています。よってこの関数は直線（一次関数）になります。

この考え方を利用したのが最尤推定量です。

統計的に表現すると、通常は、パラメータを固定してデータを動かすことを考えますが、最尤推定量はデータを固定してパラメータを動かすことを考えます。

最尤推定量について知りたい方は、「最尤推定量とは？初めての人にも分かりやすく解説」を確認すると理解が深まります。

この、「データを固定してパラメータを動かす」という考え方が、ベイズ推定の考え方と一致しています。

最尤推定とベイズ推定の違い

次に、最尤推定とベイズ推定の違いについて考えます。

最尤推定とベイズ推定の違いは、推定量の算出に事前情報を使うか使わないか、です。

最尤推定が推定量の算出に事前情報を使わないのに対し、ベイズ推定は推定量の算出に事前情報を使います。

事前情報（事前確率）については、「ベイズ統計学とは？初心者にもわかりやすく解説」で簡単に触れていますのでご確認ください。

また、「ベイズ推定量の性質と導出を例題を用いて解説」で、ベイズ推定量と最尤推定量を比較して解説しています。

最尤推定とベイズ推定の長所・短所

最尤推定とベイズ推定にはそれぞれ長所と短所があります。これらを踏まえて適切に推定法を選択する必要があります。

最尤推定量の長所・短所

• 長所
  • データをその場で取るので、信頼性がある
• 短所
  • 少ない試行回数だと、極端な値をとることがある
  • 試行回数を確保するために100回、200回と試行するのは時間がかかる

ベイズ推定量の長所・短所

• 長所
  • 少ない試行回数でも、ある程度適切な推定できる随時確率を更新できる
• 短所
  • 事前情報が信頼できないデータかもしれない

関連記事

ベイズ統計学の考え方〜ベイズ論と頻度論の違い〜

ベイズ統計学とは？初心者にもわかりやすく解説

最尤推定量とは？初めての人にも分かりやすく解説

ベイズ推定量の性質と導出を例題を用いて解説