ベルヌーイ分布の事後分布の平均と分散

2024.3.15

2026.7.04

ベイズ統計

ベルヌーイ分布の事後分布
ベルヌーイ分布の事後分布の平均・分散の導出
二項分布との関係
ベルヌーイ分布の事後分布の平均の性質
事後分布の平均・分散の導出の例題
関連記事

ベルヌーイ分布の事後分布

ベルヌーイ分布からデータを取得する場合、共役事前分布がベータ分布、その事後分布もベータ分となります。

よって、ベルヌーイ分布の事後分布の平均・分散について、以下のようなことが言えます。

成功確率 $p$ の試行を $1$ 回行い、 $x$ 回成功したとする（ $x$ は $Bi(1,p)$ に従う）。この試行を $n$ 回行った。
パラメータ $p$ の事前分布として $Beta(\alpha,\beta)$ のベータ分布をとるとき、 $p$ の事後分布は、
平均： $\frac{\alpha+\gamma}{\alpha+\beta+n}$
分散： $\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}$
のベータ分布 $Beta(\alpha+\gamma,\beta+(n-\gamma))$ に従う。
ただし、 $\gamma$ は成功回数である。

ベルヌーイ分布の事後分布の平均・分散の導出

事後分布の密度関数は以下となります。

$\pi(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}$

$0\le p\le 1,\alpha\gt0,\beta\gt0$

次にベルヌーイ分布の確率密度関数は以下です。

$f(x)=p^x(1-p)^{1-x}$

データ $x=\{x_1,x_2,...,x_n\}$ を得たとき、データがi.i.dである下では、尤度は以下となります。

$f(x|p)=f(x_1|p)f(x_2|p)...f(x_n|p)$

$=p^{x_1}(1-p)^{1-x_1}p^{x_2}(1-p)^{1-x_2}...p^{x_n}(1-p)^{1-x_n}$

$=\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i}$

$=p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}$

事後分布は比例の記号 $\propto$ を使って、

$\pi(p|x)\propto\pi(p)f(x|p)$

$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$ は $p$ に対して定数とみなせるので、

$\propto p^{\alpha-1}(1-p)^{\beta-1}p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}$

$\propto p^{\alpha+\sum_{i=1}^{n}x_i-1}(1-p)^{\beta+n-\sum_{i=1}^{n}x_i-1}$

$\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}$

成功回数： $\gamma$ , 失敗回数：（ $n-\gamma)$

この式は、ベータ分布 $Beta(\alpha+\gamma,\beta+(n-\gamma))$ に従っていることがわかります。

ベータ分布 $Beta(\alpha,\beta)$ の平均、分散
平均： $\frac{\alpha}{\alpha+\beta}$
分散： $\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}$

$\alpha$ に $\alpha+\gamma$ 、 $\beta$ に $\beta+(n-\gamma)$ をそれぞれ代入すると、以下のようになります。

$平均：\frac{\alpha+\gamma}{\alpha+\beta+n}$

$分散：\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}$

二項分布との関係

データの母集団の分布がベルヌーイ分布ではなく、二項分布の場合はどうなるでしょう。

二項分布 $Bi(n,p)$ に従う確率分布は、

$f(x)={}_nC_xp^x(1-p)^{n-x}$

であるから、データ $x$ を得たとき、尤度は以下となります。

$f(x|p)={}_nC_{x}p^{x}(1-p)^{n-x}$

ここで、 ${}_nC_{x}$ は $p$ に対しては定数となります。

さらに、 $x$ が成功回数であることを考えると、 $x$ は上記の $\gamma$ と等しいので、事後分布は上記と同様の手順で、

$\pi(p|x)\propto\pi(p)f(x|p)$

$\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}$

よって、事前分布がベータ分布で、取ってくるデータの母集団分布が二項分布のとき、事後分布はベルヌーイ分布と一致します。

ベルヌーイ分布の事後分布の平均の性質

ベルヌーイ分布の事後分布の平均は

$\frac{\alpha+\gamma}{\alpha+\beta+n}=\frac{\alpha}{\alpha+\beta+n}\frac{\gamma}{\alpha+\beta+n}=\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}+\frac{n}{\alpha+\beta+n}\frac{\gamma}{n}$

と表すことができます。

ここで、事前分布の期待値は、

$E(p)=\frac{\alpha}{\alpha+\beta}$

であり、観測値の平均（ $p$ の最尤推定量）は、

であるので、

$\frac{\alpha+\beta}{\alpha+\beta+n}E(p)+\frac{n}{\alpha+\beta+n}\overline{x}$

と表せられます。

ここで、 $\frac{\alpha+\beta}{\alpha+\beta+n}$ を $w$ とおくと、 $\frac{n}{\alpha+\beta+n}$ は $1-w$ となるので、

$wE(p)+(1-w)\overline{x}$ と書き換えることができます。

これは、事前平均と標本平均の重みづけをしていると解釈できます。

この性質は、正規分布の事後分布の平均についても同様です。

事後分布の平均・分散の導出の例題

箱の中にたくさんの赤球と黒球が入っている。これをランダムに1個取り出し、箱の中に戻す。この操作を5回行ったところ、赤が4回、黒が1回であった。
赤球が取り出される確率をpとし、pの事前分布 $\pi(p)$ はベータ分布 $Be(\frac{1}{2},\frac{1}{2})$ に従うものとする。
このときの事後分布の従う分布と、平均、分散を求めよ。