ディリクレ分布とは？期待値・分散・共分散の導出も解説

ディリクレ分布とは

ディリクレ分布とは、ベータ分布を多変量に拡張した分布です。

確率変数$X_{1}, X_{2}, ..., X_{n-1}$が以下のような確率密度関数$f(x_{1}, x_{2}, ..., x_{n-1})$をもつ時、確率変数$X_{1}, X_{2}, ..., X_{n-1}$はパラメータ$\alpha_{1}, \alpha_{2}, ..., \alpha_{n}$のディリクレ分布に従います。

ディリクレ分布の確率密度関数

ディリクレ分布の確率密度関数は以下のように表されます。

$f(x_{1}, x_{2}, ..., x_{n-1}) = \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})...\Gamma(\alpha_{n})} x_{1}^{\alpha_{1} - 1} x_{2}^{\alpha_{2} - 1} ... x_{n}^{\alpha_{n} - 1}$

ただし、$\sum_{i=1}^{n} x_{i} = 1$とし、$x_{1}, ..., x_{n} \geq 0$とする。

ディリクレ分布とベータ分布の関係

冒頭にも述べた通り、ディリクレ分布はベータ分布を多変量に拡張した分布です。

このことを証明するために、ディリクレ分布の確率密度関数について$n = 2$の場合を考えてみましょう。

$n = 2$の時、ディリクレ分布の確率密度関数は次のように表せます。

$$\begin{equation*}\begin{split} f(x_{1}, x_{2}) &= \displaystyle \frac{\Gamma(\sum_{i=1}^{2} \alpha_{i} )}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} - 1} x_{2}^{\alpha_{2} - 1} \\  &= \displaystyle \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} - 1} x_{2}^{\alpha_{2} - 1} \\ \end{split}\end{equation*}$$

上記は2変量の確率密度関数ですが、但し書きの条件から、$\sum_{i=1}^{2} x_{i} = x_{1} + x_{2} = 1$を満たしています。

この変形により、2変量である確率密度関数を1変量として書くことが可能となるため、以下の形に書き換えることができます。

$$\begin{equation*}\begin{split} f(x_{1}) &= \displaystyle \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} - 1} (1 - x_{1})^{\alpha_{2} - 1} \\ \end{split}\end{equation*}$$

ここで、定数部分にあるガンマ関数に着目します。ベータ関数とガンマ関数には以下のような関係があります。

ベータ関数とガンマ関数の関係

$B(a, b) = \frac{\Gamma(a) \Gamma(b)}{\Gamma(a+b)}$

ベータ関数$B(\alpha_{1}, \alpha_{2})$を用いて$\frac{1}{B(\alpha_{1}, \alpha_{2})} = \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})}$と表せることを利用すると、以下の形が導けます。

$$\begin{equation*}\begin{split} f(x_{1}) &= \displaystyle \frac{1}{B(\alpha_{1}, \alpha_{2})} x_{1}^{\alpha_{1} - 1} (1 - x_{1})^{\alpha_{2} - 1} \\ \end{split}\end{equation*}$$

これは、ベータ分布の確率密度関数の形に一致します。

つまり、1変量の場合のディリクレ分布の確率密度関数はベータ分布の確率密度関数と一致します。

このことから、ディリクレ分布はベータ分布を多変量に拡張した分布と考えることができます。

ベイズ統計におけるディリクレ分布

ディリクレ分布は、ベイズ統計において多項分布の共役事前分布として使用されます。

共役事前分布については、「共役事前分布を分かりやすく解説」をご確認ください。

期待値の導出

ディリクレ分布の期待値は以下のように表されます。

ディリクレ分布の期待値

$E(X_{i}) = \frac{\alpha_{i}}{\sum_{i=1}^{n} \alpha_{i}}  (i = 1, ..., n-1)$

では、ディリクレ分布の期待値を導出していきましょう。

はじめに、確率変数$X_{1}$の期待値$E(X_{1})$を求めることを考えます。

ディリクレ分布は連続型分布なので、連続型確率変数の場合の期待値の定義より、以下のように求められます。

$$\begin{equation*}\begin{split} E(X_{1}) &= \displaystyle \int_0^\infty x_{1} f(x_{1}, ..., x_{n-1}) dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1} x_{1}^{\alpha_{1} - 1} ... x_{n}^{\alpha_{n} -1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ \end{split}\end{equation*}$$

ここで、ガンマ関数の積分公式を利用します。

補足：ガンマ関数の積分公式

$\int_0^\infty x_{1}^{\alpha_{1} - 1} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} =\frac{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}$

ただし、$x_{i} \geq 0 (1 \leq i \leq n-1) , \sum_{i=1}^{n-1} x_{i} \leq 1$

これにより、3行目の積分式は以下のように表すことができます。

$$\begin{equation*}\begin{split} \int_0^\infty x_{1}^{\alpha_{1}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} &= \displaystyle  \frac{\Gamma(\alpha_{1} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + ... + \alpha_{n} + 1)} \\ &= \displaystyle \frac{\Gamma(\alpha_{1} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 1)} \\ \end{split}\end{equation*}$$

ここで、さらにガンマ関数の性質を用います

補足：ガンマ関数の性質

$\Gamma(\alpha + 1) = \alpha \Gamma(\alpha)$

$$\begin{equation*}\begin{split} \frac{\Gamma(\alpha_{1} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 1)} &= \displaystyle \frac{\alpha_{1} \Gamma(\alpha_{1}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{split}\end{equation*}$$

よって、ディリクレ分布に従う確率変数$X_{i} (i = 1, ..., n-1)$の期待値は

$$\begin{equation*}\begin{split} E(X_{1}) &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \frac{\alpha_{1} \Gamma(\alpha_{1}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &= \displaystyle \frac{\alpha_{1}}{\sum_{i=1}^{n} \alpha_{i}} \\ \end{split}\end{equation*}$$

分散の導出

ディリクレ分布の分散は以下のように表されます。

ディリクレ分布の分散

$V(X_{i}) = \frac{\alpha_{i}(\sum_{i=1}^{n} \alpha_{i} - \alpha_{i})}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} (i = 1, ..., n-1)$

次にディリクレ分布に従う確率変数の分散を導出します。

はじめに、確率変数$X_{1}$の分散$V(X_{1})$を求めることを考えます。

分散の性質より、

$V(X_{1}) = E(X_{1}^2) - E(X_{1})^2$

$E(X_{1}^2)$について、

$$\begin{equation*}\begin{split} E(X_{1}^2) &= \displaystyle \int_0^\infty x_{1}^2 f(x_{1}, ..., x_{n-1}) dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^2 x_{1}^{\alpha_{1} - 1} ... x_{n}^{\alpha_{n} -1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1} + 1} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ \end{split}\end{equation*}$$

ここで、ガンマ関数の積分公式を利用すると、3行目の積分式は以下のように表されます。

$$\begin{equation*}\begin{split} \int_0^\infty x_{1}^{\alpha_{1} + 1} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} &= \displaystyle  \frac{\Gamma(\alpha_{1} + 2) ... \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + ... + \alpha_{n} + 2)} \\ &= \displaystyle \frac{\Gamma(\alpha_{1} + 2) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 2)} \\ \end{split}\end{equation*}$$

さらに、ガンマ関数の性質を適用させることで、次のように表されます。

$$\begin{equation*}\begin{split} \frac{\Gamma(\alpha_{1} + 2) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 2)} &= \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1) \Gamma(\alpha_{1}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{split}\end{equation*}$$

以上より、$E(X_{1}^2)$は以下の値となります。

$$\begin{equation*}\begin{split} E(X_{1}^2) &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \frac{\alpha_{1} (\alpha_{1} + 1) \Gamma(\alpha_{1}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &= \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1)}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{split}\end{equation*}$$

先ほどの分散の公式に代入することで、$V(X_{1})$は以下のように求まります。

$$\begin{equation*}\begin{split} V(X_{1}) &= \displaystyle E(X_{1}^2) - E(X_{1})^2 \\ &= \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1)}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} - \frac{\alpha_{1}^2}{(\sum_{i=1}^{n} \alpha_{i})^2} \\ &= \displaystyle \frac{\alpha_{1} (\sum_{i=1}^{n} \alpha_{i} - \alpha_{1})}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{split}\end{equation*}$$

共分散の導出

ディリクレ分布の共分散は以下のように表されます。

ディリクレ分布の共分散

$$\begin{equation*}\begin{split} Cov(X_{i}, X_{j}) &= \displaystyle -\frac{\alpha_{i} \alpha_{j}}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)}   (i \neq j) \\ \end{split}\end{equation*}$$

ディリクレ分布に従う確率変数の共分散を導出します。

例として確率変数$X_{1}, X_{2}$の共分散$Cov(X_{1}, X_{2})$を求める場合を考えます。

共分散の公式より次のようになります。

$$\begin{equation*}\begin{split} Cov(X_{1}, X_{2}) &= \displaystyle E(X_{1}X_{2}) - E(X_{1})E(X_{2}) \\ \end{split}\end{equation*}$$

$E(X_{1}X_{2})$を求めます。

$$\begin{equation*}\begin{split} E(X_{1}X_{2}) &= \displaystyle \int_0^\infty x_{1} x_{2} f(x_{1}, ..., x_{n-1}) dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1} x_{2} x_{1}^{\alpha_{1} - 1} x_{2}^{\alpha_{2} - 1} ... x_{n}^{\alpha_{n} -1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ \end{split}\end{equation*}$$

ガンマ関数の積分公式を利用すると、3行目の積分式は次のようになります。

$$\begin{equation*}\begin{split} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}} ... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} &= \displaystyle  \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + \alpha_{2} + ... + \alpha_{n} + 2)} \\ &= \displaystyle \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 2)} \\ \end{split}\end{equation*}$$

さらに、ガンマ関数の性質を用いることで、次のように変形できます。

$$\begin{equation*}\begin{split} \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) ... \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 2)} &= \displaystyle \frac{\alpha_{1} \alpha_{2} \Gamma(\alpha_{1}) \Gamma(\alpha_{2}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{split}\end{equation*}$$

以上より、$E(X_{1}X_{2})$は以下のようになります。

$$\begin{equation*}\begin{split} E(X_{1}X_{2}) &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}}... x_{n}^{\alpha_{n} - 1} dx_{1} ... dx_{n-1} \\ &= \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})... \Gamma(\alpha_{n})} \frac{\alpha_{1} \alpha_{2} \Gamma(\alpha_{1}) ... \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &= \displaystyle \frac{\alpha_{1} \alpha_{2})}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{split}\end{equation*}$$

 共分散の公式に代入することで、$Cov(X_{1}, X_{2})$は次のようになります。

$$\begin{equation*}\begin{split} Cov(X_{1}, X_{2}) &= \displaystyle E(X_{1}X_{2}) - E(X_{1})E(X_{2}) \\ &= \displaystyle \frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} - \frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})^2} \\ &= \displaystyle -\frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{split}\end{equation*}$$

関連記事

ベータ分布とは？期待値と分散の導出も解説