指数型分布族の性質を利用した期待値と分散の求め方

指数型分布族の定義

まずは簡単に指数型分布族の定義を確認します。

確率変数$X$が1つの未知パラメータ$\theta$を持つ確率分布に従うとし、$X$の確率分布が確率（密度）関数$f(x; \theta)$を持つとしましょう。

この時、確率密度関数が以下の式によって表記できる場合、その分布は指数型分布族に属するといいます。

$$\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[a(x)b(\theta) + c(\theta) + d(x)] \\ \end{split}\end{equation*}$$

$a(.),b(.),c(.)$や$d(.)$は既知である関数とする。

さらに、$a(x) = x$を満たす場合、その分布は正準形(canoncial form)であると言います。また、未知パラメータ以外に他のパラメータが存在した場合、そのパラメータを局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族の性質を利用した期待値と分散の求め方

この求め方は、微分と積分の順序が入れ替えられるという条件の下で、任意の確率密度関数に対して以下の結果が成り立つことを用います。

$$\begin{equation*}\begin{split} \int f(x; \theta)dx &= \displaystyle 1 \\ \end{split}\end{equation*}$$

ただし、上式の積分範囲は$x$のとりうる値の全体である。

確率変数$X$が連続型確率変数であるという前提で議論を進めますが、もし離散型確率変数である場合、上式の積分は和に置き換わります。

さて、上式について$\theta$に関して両辺に対して微分を行うと、以下の式となります。

$$\begin{equation*}\begin{split} \frac{d}{d\theta} \int f(x; \theta)dx = \frac{d}{d\theta}1 = 0 \end{split}\end{equation*}$$

さらに上式について左辺の積分と微分の順序を入れ替えると、以下のように表せます。

$$\begin{equation*}\begin{split} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{split}\end{equation*}$$

上式は指数型分布族の性質を利用した期待値の導出の際に重要となるポイントです。

同様に、$$\begin{equation*}\begin{split} \int f(x; \theta)dx &= \displaystyle 1 \\ \end{split}\end{equation*}$$を$\theta$に関して2回微分し、積分と微分の順序を入れ替えると、次の結果が得られます。

$$\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{split}\end{equation*}$$

上式は指数型分布族の性質を利用した分散の導出の際に重要となるポイントです。

期待値の求め方

冒頭のとおり、指数型分布族に属する分布に従う確率変数$X$の確率密度関数は$$\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[a(x)b(\theta) + c(\theta) + d(x)] \\ \end{split}\end{equation*}$$と表すことが出来ます。

ここからは$a(X)$の期待値を求めることを考えます。

上式のように表せられる$f(x; \theta)$に対して$\theta$について微分を行うと以下のようになります。

$$\begin{equation*}\begin{split} \frac{d f(x; \theta)}{d\theta} = [a(x)b'(\theta) + c'(\theta)]f(x; \theta) \end{split}\end{equation*}$$

ここで、$$\begin{equation*}\begin{split} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{split}\end{equation*}$$となることを利用すると、次の結果が得られます。

$$\begin{equation*}\begin{split} \int [a(x)b'(\theta) + c'(\theta)]f(x; \theta)dx = 0 \end{split}\end{equation*}$$

ここで、期待値の定義より、$$\begin{equation*}\begin{split} \int a(x)f(x; \theta)dx = E[a(X)] \end{split}\end{equation*}$$であり、

$$\begin{equation*}\begin{split} \int c'(\theta)f(x; \theta)dx = E[c'(\theta)] = c'(\theta) \end{split}\end{equation*}$$と表せます。

さらに、期待値の線形性を利用することで次のように式をまとめることができます。

$$\begin{equation*}\begin{split} b'(\theta)E[a(X)] + c'(\theta) = 0 \end{split}\end{equation*}$$

ここまでの結果を整理すると以下のように表せます。

$a(X)$の期待値

$$\begin{equation*}\begin{split} E[a(X)] = -\frac{c'(\theta)}{b'(\theta)}\end{split}\end{equation*}$$

ここに、$X$の従う確率分布が指数型分布族であると同時に正準形であった場合、$a(X) = X$であることから、$a(X)$の期待値$E[a(X)]$を求めることは、$X$の期待値$E(X)$を求めることと等しいです。

$$\begin{equation*}\begin{split} E(X) = E[a(X)] = -\frac{c'(\theta)}{b'(\theta)}\end{split}\end{equation*}$$

分散の求め方

指数型分布族に属する確率密度関数$f(x; \theta)$に対して$\theta$について2回微分を行うと次の結果を得ることができます。

$$\begin{equation*}\begin{split} \frac{d^2 f(x; \theta)}{d\theta^2} = [a(x)b''(\theta) + c''(\theta)]f(x; \theta) + [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) \end{split}\end{equation*}$$

ここで、上式の右辺の第2項は、$E[a(X)]$を用いて以下のように変形できます。

$$\begin{equation*}\begin{split} [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) = [b'(\theta)]^2 \{a(x) - E[a(X)]\}^2 f(x; \theta) \end{split}\end{equation*}$$

また、$Var[a(X)]$は分散の定義より、以下のように表せます。

$$\begin{equation*}\begin{split} Var[a(X)] = E[{a(X)}^2] - {E[a(X)]}^2 = \int \{a(x) - E[a(X)]\}^2 f(x; \theta)dx \end{split}\end{equation*}$$

これまでの結果を$$\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{split}\end{equation*}$$に代入すると、以下の式となります。

$$\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d \theta^2} = b''(\theta)E[a(X)] + c''(\theta) + [b''(\theta)]^2 Var[a(X)] = 0\end{split}\end{equation*}$$

上式を整理し、さらに$E[a(X)]$を代入すること、次の解が得られます。

$a(X)$の分散

$$\begin{equation*}\begin{split} Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} \end{split}\end{equation*}$$

ここで、$X$の従う確率分布が指数型分布族であると同時に正準形であった場合、$a(X) = X$であることから、$a(X)$の分散$Var[a(X)]$を求めることは、$X$の分散$Var(X)$を求めることと等しいです。

$$\begin{equation*}\begin{split} Var(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} \end{split}\end{equation*}$$

様々な確率分布の期待値・分散

ここまで説明してきた導出方法によって指数型分布族に属する確率分布の期待値・分散を記載します。

この導出方法は指数型分布族に属する分布であれば利用することができますが、特に正準形である場合はすぐに証明することができます。

正規分布

確率変数$X$がパラメータ$\mu , σ^2$の正規分布に従う時、確率密度関数$f(x)$は以下の式となります。

パラメータ$\mu , σ^2$の正規分布の確率密度関数

$$\begin{equation*}\begin{split} f(x) = \frac{1}{\sqrt{2πσ^2}}\exp{[-\frac{(x-μ)^2}{2σ^2}]} \end{split}\end{equation*}$$

確率密度関数は次のように変形することが出来ます。

$$\begin{equation*}\begin{split} f(x) = \exp[-\frac{x^2}{2σ^2} + \frac{x\mu}{σ^2} - \frac{\mu^2}{2σ^2} - \frac{1}{2}\log(2πσ^2) ] \end{split}\end{equation*}$$

ここで$\mu$が未知、$σ^2$が既知である場合を考えます。

$\theta = \mu$とすると、

$$\begin{equation*}\begin{split} a(x) = x, \, b(\mu) = \frac{\mu}{σ^2}, \, c(\mu) = -\frac{\mu^2}{2σ^2} - \frac{1}{2}\log 2πσ^2, \, d(x) = -\frac{x^2}{2σ^2} \end{split}\end{equation*}$$

と書けるため、この場合は1パラメータの指数型分布族に属することがわかります。

さて、$b(\mu), ~ c(\mu)$に対して$\mu$について1回微分を行うと以下の値を得られます。

$$\begin{equation*}\begin{split} b'(\mu) = \frac{1}{σ^2}, ~ c'(\mu) = -\frac{\mu}{σ^2} \end{split}\end{equation*}$$

さらにもう1回微分するとこうなります。

$$\begin{equation*}\begin{split} b''(\mu) = 0, ~ c''(\mu) = -\frac{1}{σ^2} \end{split}\end{equation*}$$

この時、正規分布は正準形であることから、$a(X) = X$が成り立つことを利用します。

よって、$X$の期待値と分散は以下の値となります。

正規分布の期待値

$E(X) = E[a(X)] = -\frac{c'(\mu)}{b'(\mu)} = -\frac{\frac{1}{\sigma^2}}{\left(\frac{\mu}{\sigma^2}\right)} = \mu$

正規分布の分散

$Var(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{0 \cdot \left(-\frac{1}{\sigma^2}\right) - \left(-\frac{1}{\sigma^2}\right) \cdot \left(\frac{1}{\sigma^2}\right)}{\left[ \frac{1}{\sigma^2} \right]^3} =\sigma^2$

正規分布の確率密度関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

積率母関数を用いた正規分布の期待値（平均）と分散の導出

確率密度関数を用いた正規分布の期待値（平均）と分散の導出

二項分布

確率変数$X$がパラメータ$n, p$の二項分布に従う時、確率密度関数$F(x=k)$は以下の式となります。

$$\begin{equation*}\begin{split} F(x=k) &= \displaystyle  \begin{pmatrix}n \\ k\end{pmatrix} p^{k}{(1-p)}^{n-k} ~~ (k = 0, 1, 2, ...) \\ \end{split}\end{equation*}$$

この時、確率関数は次のように変形することが出来ます。

$$\begin{equation*}\begin{split} F(x=k) &= \displaystyle \exp[k \log p - k \log (1-p) + n \log (1-p) + \log \begin{pmatrix}n \\ k\end{pmatrix} ] \end{split}\end{equation*}$$

ここで$n$は既知であり、$p$が未知である場合を考えます。$\theta = p$とします。この時、

$$\begin{equation*}\begin{split} a(k) = k, \, b(p) = \log \frac{p}{1 - p}, \, c(p) = n \log (1 - p), \, d(k) = \log  \begin{pmatrix}n \\ k\end{pmatrix}  \end{split}\end{equation*}$$

となるので、1パラメータの指数型分布族に属することがわかります。

また、$a(k) = k$となるので、正準形であることも示されています。

$b(p), ~ c(p)$に対して$p$について1回微分を行うと以下の結果を得られます。

$$\begin{equation*}\begin{split} b'(p) = \frac{1}{p(1 - p)}, ~ c'(p) = -\frac{n}{1 - p} \end{split}\end{equation*}$$

さらにもう1回微分をすると次のようになります。

$$\begin{equation*}\begin{split} b''(p) = \frac{2p - 1}{[p(1 - p)]^2}, ~ c''(p) = -\frac{n}{(1 - p)^2} \end{split}\end{equation*}$$

この時、二項分布は正準形であることから、$a(X) = X$が成り立つことを利用します。$X$の期待値と分散は以下の値となります。

二項分布の期待値

$E(X) = E[a(X)] = -\frac{c'(p)}{b'(p)} = -\frac{-\frac{n}{1 - p}}{\frac{2p - 1}{[p(1 - p)]^2}} = np$

二項分布の分散

$V(X) = V[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{-\frac{n(2p - 1)}{p^2 (1 - p)^3} + \frac{n}{p(1 - p)^3}}{\left[ \frac{1}{p(1 - p)} \right]^3} = np(1 - p)$

二項分布の確率質量関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

確率質量関数を用いた二項分布の期待値・分散の導出

積率母関数を用いた二項分布の期待値・分散の導出

ポアソン分布

確率変数$X$がパラメータ$λ$のポアソン分布に従う時、確率密度関数$F(x)$は以下の式となります。

$$\begin{equation*}\begin{split} F(x) &= \displaystyle  \frac{λ^x \mathrm{e}^{-λ}}{x!} ~~ (x = 0, 1, 2, ...)  \end{split}\end{equation*}$$

この時、確率関数は次のように変形することが出来ます。

$$\begin{equation*}\begin{split} F(x) &= \displaystyle \exp(x \log λ - λ - \log x!) \\ \end{split}\end{equation*}$$

$\theta = λ$とし、$λ$は未知であるとします。この時

$a(x) = x, \, b(λ) = \log λ, \, c(λ)=-λ, \, d(x) = -\log(x!)$

と書けるため、ポアソン分布は1パラメータの指数型分布族に属することがわかります。

また、$a(x) = x$となることから、正準形であることも言えます。

$b(λ), c(λ)$に対して$λ$について1回微分を行うと以下のようになります。

$$\begin{equation*}\begin{split} b'(λ) = \frac{1}{λ}, ~ c'(λ) = -1\end{split}\end{equation*}$$

再び微分を行うと以下の値となります。

$$\begin{equation*}\begin{split} b''(λ) = -\frac{1}{λ^2}, ~ c''(λ) = 0 \end{split}\end{equation*}$$

ここでポアソン分布は正準形であることから、$a(X)$の期待値を求めることと$X$の期待値を求めることは同値です。よって、$X$の期待値と分散は以下の値となります。

ポアソン分布の期待値

$E(X) = E[a(X)] = -\frac{c'(λ)}{b'(λ)} = -\frac{-1}{\frac{1}{λ}} = λ$

ポアソン分布の分散

$Var(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{-\frac{1}{λ^2} \cdot (-1) - 0 \cdot \frac{1}{λ} }{\left[ \frac{1}{λ} \right]^3} = λ$

ポアソン分布の確率質量関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

積率母関数を用いたポアソン分布の期待値と分散の導出

確率質量関数を用いたポアソン分布の期待値と分散の導出

ガンマ分布

確率変数$X$がパラメータ$\alpha, \beta$のガンマ分布に従う時、確率密度関数$f(x)$は以下の式となります。

$f(x) = \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha - 1} \mathrm{e}^{-\beta x} ~~~ (x \gt 0)$

ただし、$\alpha \gt 0, \beta \gt 0$であり、$\Gamma(\alpha)$はガンマ関数

この確率密度関数は次のように変形することが出来ます。

$$\begin{equation*}\begin{split} f(x) = \exp[\alpha \log \beta ー \log \Gamma(\alpha) + \alpha \log x - \log x - \beta x ] \end{split}\end{equation*}$$

ここで$\alpha$を既知とし、$\beta$が未知であると考えます。

$\theta = \beta$とすると、この時

$$\begin{equation*}\begin{split} a(x) = x, \, b(\beta) = -\beta, \, c(\beta) = \alpha \log \beta - \log \Gamma(\alpha), \, d(x) = \alpha \log x - \log x \end{split}\end{equation*}$$

となるので、1パラメータの指数型分布族に属することがわかります。

また、$a(x) = x$となるので、正準形であることも示されています。

さて、$b(\beta), ~ c(\beta)$に対して$\beta$について1回微分を行うと以下の値となります。

$$\begin{equation*}\begin{split} b'(\beta) = -1, ~ c'(\beta) = \frac{\alpha}{\beta} \end{split}\end{equation*}$$

さらにもう1回微分を行うと以下のようになります。

$$\begin{equation*}\begin{split} b''(\beta) = 0, ~ c''(\beta) = -\frac{\alpha}{\beta^2} \end{split}\end{equation*}$$

この時、ガンマ分布は正準形であることから、$a(X) = X$が成り立つことを利用します。よって、$X$の期待値と分散は以下の値となります。

ガンマ分布の期待値

$E(X) = E[a(X)] = -\frac{c'(\beta)}{b'(\beta)} = \frac{\alpha}{\beta}$

ガンマ分布の分散

$V(X) = V[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{0 - \frac{\alpha}{\beta^2}}{[-1]^3} = \frac{\alpha}{\beta^2}$

ガンマ分布の確率密度関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

確率密度関数を用いたガンマ分布の期待値・分散の導出

積率母関数を用いたガンマ分布の期待値・分散の導出

関連記事

指数型分布族とは？定義と性質をわかりやすく解説

期待値とは？定義や性質を解説

分散とは？2種類の公式と計算例を解説