ベイズの定理の導出

事象の準備

ベイズの定理を考える舞台として、まず全事象Ωを考えます。
これは目的の変数が取りうる全ての離散値（整数・自然数などの飛び飛びの値）の集合となります。

さらに、全事象をいくつかの既知情報$A_1,...,A_n$に分割します。(ここではn=5とします)
$A_1,...,A_5$は互いに交わらず、かつ全て足し合わせると全事象Ωになるように構成します。

これらの事象が成り立つ確率$P(A_1),...,P(A_n)$を事前確率と呼びます。
事前確率は予め分かっているものとします。

次に、新規情報$B$が発生したとします。
すると、$B$は必ず$A_1,...,A_5$のどれかと交わります。

このとき、「新規情報$B$が発生した状況で、それまで既知情報だった$A_i$が発生する確率」を求めたい場合がしばしばあります。

この確率$P(A_i|B)$が事後確率と呼ばれるもので、事後確率を求めるための定理が「ベイズの定理」です。

ベイズの定理（離散型）

離散型のベイズの定理は以下のように定義されます。

$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum_{i=1}^{n}P(B|A_i)P(A_i)}$

ベイズの定理を使うと、新しい情報($B$)が得られたときに、既存の事象($A_i$)の確率を更新することができます。

ベイズの定理（連続型）

ベイズの定理を連続型に拡張すると以下のような定義式になります。

$\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{\int_{\theta}f(x|\theta)\pi(\theta)d\theta}$

連続型のベイズの定理は「新しいデータ$x$が与えられた状況で、それまで既知だったパラメータ$\theta$が取り得る値の分布」を求めていることになります。

ベイズの定理の導出

離散型のベイズの定理の導出を以下に示します。

条件付き確率の定義式

$P(A|B)=\frac{P(A\cap B)}{P(B)}$
$P(B|A)=\frac{P(A\cap B)}{P(A)}$

この2つの定義式より、

$P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)$

であるから、以下が得られる。

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}…(1)$

次に、$A$の取りうる値が複数あるとすると、$A_i(i=1,2,...,n)$が互いに独立であるという条件の下では、

$P(B)=\sum_{i=1}^{n}P(A_i \cap B)=\sum_{i=1}^{n}P(B|A_i)P(A_i)...(2)$

（1）に（2）を代入して、離散型のベイズの定理が得られる。

$P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}$

連続型のベイズの定理についても、上記の手順で求めることができます。