共役事前分布を分かりやすく解説

共役事前分布とは

共役事前分布とは、ベイズ統計を扱う際に、複雑な計算を回避するために考えられた事前分布です。

共役事前分布を用いて事後分布を求めると、事後分布が事前分布と同じ分布になるという特性があります。

具体例で考えてみましょう。

ベイズ統計で解析しようと考えるとき、必ず事前分布を設定しなければなりません。事前分布は事前情報を元に設定されます。

例えば、二項分布に従う母集団からデータを取得することを考えます。ここで事前情報から、事前分布を指数分布の形でおいたとします。

このときの事後分布の平均は、以下となります。

$E(\theta|x)=\frac{\int_{0}^{1}\theta×\theta^x(1-\theta)^{n-x}e^{-\lambda\theta}d\theta}{\int_{0}^{1}\theta^x(1-\theta)^{n-x}e^{-\lambda\theta}d\theta}$

上記の式を求めるのは計算が複雑すぎるので、できれば回避したいです。

ここで考えられた事前分布の設定の手法の一つが共役事前分布という概念です。

共役事前分布に尤度をかけて事後分布を求めると、事後分布の形は事前分布と同じになります。

共役事前分布がどのような形の分布になるかは、データを取ってくる母集団の確率分布（これを以下『母数が規定する確率分布』とする）によって決定されます。

例えば、母数の規定する確率分布が二項分布の場合、事前分布をベータ分布に設定すれば、事後分布もベータ分布になります。

このように、母数が規定する確率分布に対して、適切な事前分布を持ってくれば、事後分布は事前分布と同じ形の分布になります。

共役事前分布に事前分布を設定すると、計算が容易になります。また、ベイズの更新も容易になります。

これは更新する際、事後分布が次の計算の事前分布となりますが、これも当然共役事前分布になるからです。

共役事前分布一覧

一般に、母数が規定する確率分布が指数型分布族であるならば、共役事前分布が存在することが知られています。

関連記事

正規分布の事後分布の平均と分散

ベルヌーイ分布の事後分布の平均と分散