ベイズ推定量の性質と導出を例題を用いて解説

ベイズ推定量の性質と証明

ベイズ推定量は、事後分布の平均と一致するという重要な性質があります。

ここから、連続型確率変数の場合においてこの性質を証明します。

損失関数、危険関数（リスク関数）、平均リスクを以下のようにおきます。

・損失関数：$L(\theta,T)=(T-\theta)^2$

・危険関数：$R(\theta,T)=E[L(\theta,T)]$

・平均リスク：$r(\pi,t)=E[R(\theta,T)]$   (ただし、$\pi(\theta)$は事前分布)

平均リスクを展開します。

$r(\pi,t)=\int_{\Theta}R(\theta,t)\pi(\theta)d\theta$

$=\int_{\Theta}\int_{X}(t-\theta)^2f(x|\theta)dx\pi(\theta)d\theta$

$=\int_{X}\int_{\Theta}(t-\theta)^2f(x|\theta)\pi(\theta)d\theta dx$

ここで、$A=\int_{\Theta}(t-\theta)^2f(x|\theta)\pi(\theta)d\theta$とおくと、$A$を最小にするような$T=t(x_1,x_2,...,x_n)$がベイズ推定量になります。

$A$は、

$A=t^2\int_{\Theta}f(x|\theta)\pi(\theta)d\theta-2t\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta+\int_{\Theta}\theta^2f(x|\theta)\pi(\theta)d\theta$

平方完成して、

$=\int_{\Theta}f(x|\theta)\pi(\theta)d\theta[t-\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}]^2-\frac{[\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta]^2}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}+\int_{\Theta}\theta^2f(x|\theta)\pi(\theta)d\theta$

となります。

$A$は$t=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$のとき、最小値をとることがわかります。

これを$T$とおくと、$T$が事前分布$\pi(\theta)$に対するベイズ推定量となります。

$T=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$

ベイズの定理より、$\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$であることを用いて、

$=\int_{\Theta}\theta\pi(\theta|x)d\theta$

$=E[\theta|x]$

よって、事前分布$\pi(\theta)$に対するベイズ推定量$T$は事後分布$\pi(\theta|x)$の平均に一致することがわかります。

二項分布とベイズ推定量

ベルヌーイ試行を$n$回行ったとき、成功回数を$x$回とすると、$x$は二項分布に従います。このときのベイズ推定量を求めてみましょう。

二項分布の共役事前分布はベータ分布であるので、事前分布をベータ分布$Beta(\alpha,\beta)$と設定します。

$f(x|\theta)=_nC_x\theta^x(1-\theta)^{n-x}$

であり、

$\pi(\theta)=\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$   $0\leq\theta\leq 1$

であるから、

$T=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$

$=\frac{\int_0^1\theta{}_nC_x\theta^x(1-\theta)^{n-x}\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}{\int_0^1{}_nC_x\theta^x(1-\theta)^{n-x}\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}$

$=\frac{\int_0^1\theta×\theta^x(1-\theta)^{n-x}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}{\int_0^1\theta^x(1-\theta)^{n-x}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}$

$=\frac{\int_0^1\theta^{(x+\alpha+1)-1}(1-\theta)^{(n-x+\beta)-1}d\theta}{\int_0^1\theta^{(x+\alpha)-1}(1-\theta)^{(n-x+\beta)-1}d\theta}$

$=\frac{B(x+\alpha+1,n-x+\beta)}{B(x+\alpha,n-x+\beta)}$

ここでベータ関数の性質を用いる

$B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$

を利用する。ただし$\Gamma$はガンマ関数。

$=\frac{\Gamma(x+\alpha+1)\Gamma(n-x+\beta)}{\Gamma(n+\alpha+\beta+1)}×\frac{\Gamma(n+\alpha+\beta)}{\Gamma(x+\alpha)\Gamma(n-x+\beta)}$

$=\frac{\Gamma(x+\alpha+1)}{\Gamma(n+\alpha+\beta+1)}×\frac{\Gamma(n+\alpha+\beta)}{\Gamma(x+\alpha)}$

ここでガンマ関数の性質を用いる

$\Gamma(\alpha)=(\alpha-1)\Gamma(\alpha-1)$

$=\frac{(x+\alpha)\Gamma(x+\alpha)}{(n+\alpha+\beta)\Gamma(n+\alpha+\beta)}×\frac{\Gamma(n+\alpha+\beta)}{\Gamma(x+\alpha)}$

$=\frac{x+\alpha}{n+\alpha+\beta}$

が得られます。

よって、ベータ分布に従う事前分布$\pi(\theta)$に対する$\theta$のベイズ推定量は

$T=\frac{x+\alpha}{n+\alpha+\beta}$

となります。

これは二項分布の事後分布の平均に一致します。

ベルヌーイ分布（二項分布）の事後分布に関しては、「ベルヌーイ分布の事後分布の平均と分散」をご確認ください。

最尤推定量とベイズ推定量を比較

例題を通して、最尤推定量とベイズ推定量を比較してみましょう。

最尤推定量について知りたい方は、「最尤推定量とは？初めての人にも分かりやすく解説」をご確認ください。

コイントスを5回行い、表が出た回数を$x$とする。いま、表が出る確率を$p$とすると、$x$は$Bi(5,p)$に従う。このとき、$x$が0〜5の場合で次を考察せよ。

(1) 最尤推定量

(2) $p$の事前分布が$Beta(\frac{1}{2},\frac{1}{2})$に従っているとしたときのベイズ推定量

（1）最尤推定量

最尤推定量$\hat{p}$は、$\frac{x}{n}$となるので、以下の表のようになります。

この両端を見てみると、荒い推定値のように思えます。

例えば$x=5$なら、表が出る確率は1であると推定しています。つまり、「このコインは裏が絶対に出ない」と言っており、この推定値には信頼性がありません。

（2）ベイズ推定量

ベイズ推定量$T$は$\frac{x+\alpha}{n+\alpha+\beta}$となるので、$n=5$、$\alpha=\frac{1}{2}$、$\beta=\frac{1}{2}$をそれぞれ代入すると、以下の表のようになります。

事前に情報がある場合は両端の確率が0または1になることがありません。こちらの方が最尤推定量より信頼できます。

このように、確率が0と1を取らないとわかっているとき、つまり$0 \lt p \lt 1$のとき、最尤推定量ではなくベイズ推定量が使われます。