多項分布とは？期待値・分散・共分散の導出も解説

多項分布とは（Multinomial Distribution）

多項分布とは、二項分布を一般化した確率分布です。

確率変数（ベクトル）$$\begin{equation*}\begin{split} {\bf X} = (X_{1}, X_{2}, ..., X_{k}) \end{split}\end{equation*}$$が以下の結合関数を持つ時に従う確率分布を、パラメータ$$\begin{equation*}\begin{split} n, {\bf P} = (p_{1}, p_{2}, ..., p_{k}) \end{split}\end{equation*}$$の多項分布(Multinomial Distribution)といいます。

多項分布の確率密度関数

$$\begin{equation*}\begin{split} f(x_{1}, x_{2}, ..., x_{k}) &= \displaystyle \frac{n!}{x_{1}! x_{2}! ... x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} ... p_{k}^{x_{k}}  (x_{i} \geq 0, x_{1} + ... + x_{k} = n) \end{split}\end{equation*}$$

ただし、$n$は整数であり、$p_{i}\gt0 (i = 1, 2, ..., k), p_{1} + p_{2} + ... + p_{k} = 1$

ここに、$k = 2$の時、確率関数は以下のように表せます。

$$\begin{equation*}\begin{split} f(x_{1}, x_{2}) &= \displaystyle \frac{n!}{x_{1}! x_{2}!} p_{1}^{x_{1}} p_{2}^{x_{2}} \end{split}\end{equation*}$$

この時、$p_{1} + p_{2} = 1$を満たしますので、$p_{2} = 1 - p_{1}$と表せます。

また、$x_{1} + x_{2} = n$も満たすため、$x_{2} = n - x_{1}$と表せます。

このことから$k = 2$の場合も1変量として扱うことができます。

以上のことをふまえて書くと次の形になります。

$$\begin{equation*}\begin{split} f(x_{1}) &= \displaystyle \frac{n!}{x_{1}! (1 - x_{1})!} p_{1}^{x_{1}} (1 - p_{1})^{n - x_{1}}  \end{split}\end{equation*}$$

$k = 2$の時の多項分布の確率関数は二項分布と一致します。

また、$k = 2$かつ$n = 1$である時、ベルヌーイ分布の確率密度関数となります。

二項分布と多項分布

前節でも述べましたが、$k = 2$の時の多項分布は二項分布となります。ここでは、その関係性を見ていきましょう。

二項分布とは、互いに独立したベルヌーイ試行をn回行ったときに、ある事象が何回起こるかの確率分布です。

具体例としては、「コインを5回投げた時に表2回出る確率」「対戦ゲームで90%の確率で当たる技を10回中8回当てる確率」といった確率を表す分布です。

ここでベルヌーイ試行というのは、「成功か失敗か」「表か裏か」といった2種類だけの結果しか得られないような試行・実験を意味しています。つまり二項分布というのは、結果が2つだけの試行において用いられる確率分布です。

多項分布とは、結果がたくさんある試行において用いられる確率分布です

具体例としてはサイコロ投げが挙げられます。「6面サイコロを10回投げた時にそれぞれの面が出る確率」とした場合は、パラメータ$n = 10, ~ {\bf P} = (p_{1}, p_{2}, ..., p_{6})$の多項分布に従います。$n$は試行回数であり、$p_{1}, p_{2}, ..., p_{6}$はサイコロのそれぞれの目が出る確率を指します。

多項分布の期待値の導出

$X_{1}$の期待値を求めることを考えます。ここに、離散型変数の場合の期待値の定義より、

$E(X_{1}) = \sum_{i=1}^k x_{1} f(x_{1}, x_{2}, ..., x_{k})$

と表せます。

さらに$x_{1}, p_{1}$について操作することで、以下のように表せます。

$$\begin{equation*}\begin{split} E(X_{1}) &= \displaystyle \sum_{i=1}^k x_{1} \frac{n!}{x_{1}! x_{2}! ... x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} ... p_{k}^{x_{k}}  \\  &= \displaystyle \sum_{i=1}^k  \frac{n(n - 1)!}{(x_{1} - 1)! x_{2}! ... x_{k}!} p_{1} p_{1}^{(x_{1} - 1)} p_{2}^{x_{2}} ... p_{k}^{x_{k}}  \\ &= \displaystyle np_{1} \sum_{i=1}^k x_{1} \frac{(n - 1)!}{(x_{1} - 1)! x_{2}! ... x_{k}!} p_{1}^{(x_{1} - 1)} p_{2}^{x_{2}} ... p_{k}^{x_{k}} \\ &= \displaystyle np_{1} \cdot 1 = np_{1} \\ \end{split}\end{equation*}$$

3行目から4行目の変形は、総和の中の式がパラメータが異なる多項分布の確率関数であること、また多項分布のみならず離散型確率分布の確率関数について、確率変数のとりうる値の総和をとると1となることを利用しています。これは、ある事象における全ての確率を足すと１になることと同じ意味を持っています。

以上より、多項分布に従う確率変数$X_{i} ~~ (i = 1, 2, ..., k)$の期待値は以下の形となります。

$E(X_{i}) = np_{i} ~~ (i = 1, ..., k)$

このように、多項分布の期待値は二項分布の期待値の形と一致していることがわかります。

また、$n = 1$の時はベルヌーイ分布の期待値の形と一致します。

各確率分布の期待値は、「代表的な確率分布の確率関数・期待値・分散のまとめ」をご確認ください。

多項分布の分散の導出

$X_{1}$の分散を考えます。まずは、$E(X_{1}(X_{1} - 1))$を求めましょう。

$$\begin{equation*}\begin{split} E(X_{1}(X_{1} - 1)) &= \displaystyle \sum_{i=1}^k x_{1} (x_{1} - 1) \frac{n!}{x_{1}! x_{2}! ... x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} ... p_{k}^{x_{k}}  \\  &= \displaystyle \sum_{i=1}^k \frac{n(n - 1)(n - 2)!}{(x_{1} - 2)! x_{2}! ... x_{k}!} p_{1}^2 p_{1}^{x_{1} - 2} p_{2}^{x_{2}} ... p_{k}^{x_{k}} \\ &= \displaystyle n(n - 1)p_{1}^2 \sum_{i=1}^k \frac{(n - 2)!}{(x_{1} - 2)! x_{2}! ... x_{k}!} p_{1}^{x_{1} - 2} p_{2}^{x_{2}} ... p_{k}^{x_{k}} \\ &= \displaystyle np_{1}(1 - p_{1}) \end{split}\end{equation*}$$

ここで分散の定義より、$Var(X_{1})$は以下のように表せることにより、解を得ることができます。

$$\begin{equation*}\begin{split} Var(X_{1}) &= \displaystyle E(X_{1}^2) - (E(X_{1})^2 \\ &= \displaystyle E(X_{1}(X_{1} - 1)) + E(X_{1}) - (E(X_{1}))^2 \\ &= \displaystyle n(n - 1)p_{1}^2 + np_{1} - n^2p_{1}^2 \\ &= \displaystyle np_{1}(1 - p_{1}) \\ \end{split}\end{equation*}$$

以上より、多項分布に従う確率変数$X_{i} ~~ (i = 1, 2, ..., k)$の分散は以下の形となります。

$V(X_{i}) = np_{i}(1 - p_{i}) ~~ (i = 1, ..., k)$

多項分布の分散も二項分布の分散の形と一致し、$n = 1$の時はベルヌーイ分布の分散の形と一致します。

各確率分布の分散は、「代表的な確率分布の確率関数・期待値・分散のまとめ」をご確認ください。

多項分布の共分散の導出

最後に、多項分布に従う確率変数の共分散を導出します。

$X_{1}$と$X_{2}$の共分散を求める場合を考えます。まず、$E(X_{1}X_{2})$を導出します。

$$\begin{equation*}\begin{split} E(X_{1}X_{2}) &= \displaystyle \sum_{i=1}^k x_{1} x_{2} \frac{n!}{x_{1}! x_{2}! ... x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} ... p_{k}^{x_{k}}  \\  &= \displaystyle \sum_{i=1}^k \frac{n(n - 1)(n - 2)!}{(x_{1} - 1)! (x_{2} - 1)! ... x_{k}!} p_{1} p_{2} p_{1}^{x_{1} - 1} p_{2}^{x_{2} - 1} ... p_{k}^{x_{k}} \\ &= \displaystyle n(n - 1)p_{1} p_{2} \sum_{i=1}^k \frac{(n - 2)!}{(x_{1} - 1)! (x_{2} - 1)! ... x_{k}!} p_{1}^{x_{1} - 1} p_{2}^{x_{2} - 1} ... p_{k}^{x_{k}} \\ &= \displaystyle n(n - 1)p_{1} p_{2} \end{split}\end{equation*}$$

ここで、共分散も分散の定義と同様に、$Cov(X_{1}, X_{2}) = E(X_{1}X_{2}) - E(X_{1})E(X_{2})$と表せますから、上記の計算結果と期待値を代入することで求めることができます。。

$$\begin{equation*}\begin{split} Cov(X_{1}, X_{2}) &= \displaystyle E(X_{1}X_{2}) - E(X_{1})E(X_{2}) \\ &= \displaystyle n(n - 1)p_{1}p_{2} - n^2 p_{1} p_{2} = -np_{1} p_{2} \end{split}\end{equation*}$$

よって、多項分布に従う確率変数$X_{i}, X_{j} ~~ (i \lt j)$の共分散は以下の形となります。

$Cov(X_{i}, X_{j}) = -np_{i}p_{j} ~~ (i \lt j)$

多項分布の共役事前分布

共役事前分布とは、ベイズ統計を扱う際に、複雑な計算を回避するために考えられた事前分布です。

共役事前分布を用いて事後分布を求めると、事後分布が事前分布と同じ分布になるという特性があります。

多項分布は指数型分布族に属するため、ディリクレ分布を共役事前分布に持ちます。

データを取ってくる母集団の確率分布が多項分布であるとき、事前分布にディリクレ分布を設定すれば、事後分布もディリクレ分布となります。

関連記事

ベルヌーイ分布の分かりやすいまとめ

ベルヌーイ試行の定義をわかりやすく解説

二項分布のわかりやすいまとめ

共役事前分布を分かりやすく解説