ベルヌーイ分布の事後分布の平均と分散

ベルヌーイ分布の事後分布

ベルヌーイ分布からデータを取得する場合、共役事前分布がベータ分布、その事後分布もベータ分となります。

よって、ベルヌーイ分布の事後分布の平均・分散について、以下のようなことが言えます。

成功確率$p$の試行を$1$回行い、$x$回成功したとする（$x$は$Bi(1,p)$に従う）。この試行を$n$回行った。

パラメータ$p$の事前分布として$Beta(\alpha,\beta)$のベータ分布をとるとき、$p$の事後分布は、

平均：$\frac{\alpha+\gamma}{\alpha+\beta+n}$

分散：$\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}$

のベータ分布$Beta(\alpha+\gamma,\beta+(n-\gamma))$に従う。

ただし、$\gamma$は成功回数である。

ベルヌーイ分布の事後分布の平均・分散の導出

事後分布の密度関数は以下となります。

$\pi(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}$

$0\le p\le 1,\alpha\gt0,\beta\gt0$

次にベルヌーイ分布の確率密度関数は以下です。

$f(x)=p^x(1-p)^{1-x}$

データ$x=\{x_1,x_2,...,x_n\}$を得たとき、データがi.i.dである下では、尤度は以下となります。

$f(x|p)=f(x_1|p)f(x_2|p)...f(x_n|p)$

$=p^{x_1}(1-p)^{1-x_1}p^{x_2}(1-p)^{1-x_2}...p^{x_n}(1-p)^{1-x_n}$

$=\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i}$

$=p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}$

事後分布は比例の記号$\propto$を使って、

$\pi(p|x)\propto\pi(p)f(x|p)$

$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$は$p$に対して定数とみなせるので、

$\propto p^{\alpha-1}(1-p)^{\beta-1}p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}$

$\propto p^{\alpha+\sum_{i=1}^{n}x_i-1}(1-p)^{\beta+n-\sum_{i=1}^{n}x_i-1}$

$\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}$

成功回数：$\gamma$, 失敗回数：（$n-\gamma)$

この式は、ベータ分布$Beta(\alpha+\gamma,\beta+(n-\gamma))$に従っていることがわかります。

ベータ分布$Beta(\alpha,\beta)$の平均、分散

平均：$\frac{\alpha}{\alpha+\beta}$

分散：$\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$

$\alpha$に$\alpha+\gamma$、$\beta$に$\beta+(n-\gamma)$をそれぞれ代入すると、以下のようになります。

$平均：\frac{\alpha+\gamma}{\alpha+\beta+n}$

$分散：\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}$

二項分布との関係

データの母集団の分布がベルヌーイ分布ではなく、二項分布の場合はどうなるでしょう。

二項分布$Bi(n,p)$に従う確率分布は、

$f(x)={}_nC_xp^x(1-p)^{n-x}$

であるから、データ$x$を得たとき、尤度は以下となります。

$f(x|p)={}_nC_{x}p^{x}(1-p)^{n-x}$

ここで、${}_nC_{x}$は$p$に対しては定数となります。

さらに、$x$が成功回数であることを考えると、$x$は上記の$\gamma$と等しいので、事後分布は上記と同様の手順で、

$\pi(p|x)\propto\pi(p)f(x|p)$

$\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}$

よって、事前分布がベータ分布で、取ってくるデータの母集団分布が二項分布のとき、事後分布はベルヌーイ分布と一致します。

ベルヌーイ分布の事後分布の平均の性質

ベルヌーイ分布の事後分布の平均は

$\frac{\alpha+\gamma}{\alpha+\beta+n}=\frac{\alpha}{\alpha+\beta+n}\frac{\gamma}{\alpha+\beta+n}=\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}+\frac{n}{\alpha+\beta+n}\frac{\gamma}{n}$

と表すことができます。

ここで、事前分布の期待値は、

$E(p)=\frac{\alpha}{\alpha+\beta}$

であり、観測値の平均（$p$の最尤推定量）は、

であるので、

$\frac{\alpha+\beta}{\alpha+\beta+n}E(p)+\frac{n}{\alpha+\beta+n}\overline{x}$

と表せられます。

ここで、$\frac{\alpha+\beta}{\alpha+\beta+n}$を$w$とおくと、$\frac{n}{\alpha+\beta+n}$は$1-w$となるので、

$wE(p)+(1-w)\overline{x}$と書き換えることができます。

これは、事前平均と標本平均の重みづけをしていると解釈できます。

この性質は、正規分布の事後分布の平均についても同様です。

事後分布の平均・分散の導出の例題

箱の中にたくさんの赤球と黒球が入っている。これをランダムに1個取り出し、箱の中に戻す。この操作を5回行ったところ、赤が4回、黒が1回であった。

赤球が取り出される確率をpとし、pの事前分布$\pi(p)$はベータ分布$Be(\frac{1}{2},\frac{1}{2})$に従うものとする。

このときの事後分布の従う分布と、平均、分散を求めよ。

この試行の赤球を取り出す回数を$x$とすると、$x$は二項分布に従います。

事前分布が$Beta(\alpha,\beta)$に従うとき、事後分布は$Beta(\alpha+\gamma,\beta+(n-\gamma))$に従うので、

$\alpha$と$\beta$に$\frac{1}{2}$、$\gamma$に4をそれぞれ代入すると、以下の事後分布が得られます。

$Be(\frac{9}{2},\frac{3}{2})$

事後分布の平均、分散はそれぞれ

$\frac{\alpha+\gamma}{\alpha+\beta+n}$、$\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}$であるから、

同様に代入して、

平均：$\frac{3}{4}$

分散：$0.006$

関連記事

ベルヌーイ分布の分かりやすいまとめ

共役事前分布を分かりやすく解説

正規分布の事後分布の平均と分散