正規分布の事後分布の性質
正規分布に従う母集団からデータを取ってくるとき、共役事前分布は正規分布となります。よって、事前分布を正規分布としたとき、事後分布は次のようなことが言えます。
母平均μ、母分散σ2に従う正規母集団から大きさnの標本を抽出し、標本平均xを得たとする。母平均μの事前分布として平均η、分散τ2の正規分布をとるとき、μの事後分布は
平均:nτ2+σ2nτ2x+σ2η=σ2n+τ21σ2nx+τ21η
分散:nτ2+σ2τ2σ2=nσ2+τ2nσ2τ2
の正規分布に従う
事後分布の平均、分散の導出
正規分布の事後分布を証明します。
事前分布はμ〜N(η,τ2)であるから、密度関数は、
π(μ)=2πτ1exp[−2τ2(μ−η)2]
となります。次に、正規母集団の密度関数は
f(x)=2πσ1exp[−2σ2(x−μ)2]
であるので、データx={x1,x2,...,xn}を得たとき、データがi.i.dである下では、尤度は
f(x∣μ)=f(x1∣μ)f(x2∣μ)...f(xn∣μ)
=∏i=1n2πσ1exp[−2σ2(xi−μ)2]
=(2πσ1)nexp[−2σ2(x1−μ)2−2σ2(x2−μ)2...−2σ2(xn−μ)2]
となります。ここで、指数部分のみを取り出すと
−2σ2(x1−μ)2−2σ2(x2−μ)2...−2σ2(xn−μ)2=−2σ21{(x1−μ)2+(x2−μ)2+...+(xn−μ)2}
=−2σ21{nμ2−2(x1+x2+...+xn)μ+(x12+x22+...+xn2)}
=−2σ21[n{μ2−2n1(x1+x2+...+xn)μ}+(x12+x22+...+xn2)]
n1(x1+x2+...+xn)=xであることを利用する
=−2σ21[n(μ2−2xμ)+(x12+x22+...+xn2)]
μに関して平方完成する
=−2σ21[n(μ−x)2−nx2−(x12+x22+...+xn2)]
標本分散S2=x2−x2を利用する
=−2σ21[n(μ−x)2+nS2]
となります。これを先ほどの尤度に戻してあげれば、
f(x∣μ)=(2πσ1)nexp[−2σ21{n(μ−x)2+nS2}]
が得られます。
よって、事後分布は、
π(μ∣x)∝(2πσ1)nexp[−2σ21{n(μ−x)2+nS2)}]2πτ1exp[−2τ2(μ−η)2]
と計算できます。
さらに、μに関して定数とみなせるものは比例式から取り除けるので、
exp[−2σ21{n(μ−x)2+nS2}]=exp[−2σ21n(μ−x)2]exp[−2σ21nS2]となり、exp[−2σ21nS2]は定数とみなせる
π(μ∣x)∝exp[−2σ21{n(μ−x)2}]exp[−2τ2(μ−η)2]
∝ exp[−2σ2n(μ−x)2−2τ2(μ−η)2]
とかけます。ここで指数部分を取り出すと、
−2σ2n(μ−x)2−2τ2(μ−η)2
=−2σ2τ2nτ2(μ−x)2+σ2(μ−η)2
μの降べきで並べる
=−2σ2τ2(nτ2+σ2)μ2−2(nτ2x+σ2η)μ+(nτ2x2+σ2η2)
μに関して平方完成する
=−2σ2τ2nτ2+σ2(μ−nτ2+σ2nτ2x+σ2η)2−2(nτ2+σ2)n(η−x)2
となるため、この式の第二項は元の式に戻すと定数となります。
よって事後分布は、
π(μ∣x)∝ exp[−2σ2τ2nτ2+σ2(μ−nτ2+σ2nτ2x+σ2η)2]
となります。
これは、平均nτ2+σ2nτ2x+σ2η、分散nτ2+σ2τ2σ2の正規分布に従うことが確認できます。
正規分布の事後分布の平均、分散の性質
事後分布は
平均:nτ2+σ2nτ2x+σ2η=σ2n+τ21σ2nx+τ21η
分散:nτ2+σ2τ2σ2=nσ2+τ2nσ2τ2
と書き換えることができます。この書き換えたあとの式を見ると、重要な性質が見えてきます。
まずは平均について見てみましょう。
σ2nをw1、τ21をw2とおくと、この式は
w1+w2w1x+w2η
となります。これは標本平均と事前平均の重み付けをしています。
次に分散を見てみましょう。
nσ2がVar(x)であるから、
Var(x)+τ2Var(x)τ2
という式が得られます。
分散という統計量は、精度を表すことができます。つまり、分散の値が大きければ大きいほど、その情報の信頼性は薄いといえます。
ここで、τ2を無限大に近づけてみましょう。これはつまり、事前情報の信頼性がほぼない状態を示しています。すると、事後分布の平均は標本平均に近づくことがわかります。
逆にτ2を0に近づけてみましょう。これはつまり、事前情報に絶対的な信頼があることを示しています。すると、事後分布の平均は事前平均に近づくことがわかります。
計算例
実データで事後分布の平均と分散を導出してみましょう。
男子バスケットボールの選手の平均身長μを調べたい。事前情報として、身長の事前分布μ〜N(180,152)を持っている。
いま、バスケット選手5人を無作為に抽出したとき、平均身長195を得た。バスケット選手の身長の分布は正規分布に従っているものとするとき、μの事後分布の平均、分散を求めよ。
ただし、バスケット選手の身長の分布の分散は102であるとわかっている。
事前分布がμ〜N(η,τ2)であり、取ってくるデータの母集団分布がN(μ,σ2)であるとき、事後分布はμ〜N(nτ2+σ2nτ2x+σ2η,nτ2+σ2τ2σ2)に従います。
ここに、対応する値を代入しましょう。
つまり、η=180、τ2=152、σ2=102、n=5、x=195をそれぞれ代入すれば、
平均:193.8
分散:18.4
が得られます。
関連記事
共役事前分布を分かりやすく解説