正規分布が指数型分布族に属することの証明

指数型分布族とは

確率変数$X$が1つの未知パラメータ$\theta$を持つ確率分布に従い、その確率分布が確率（密度）関数$f(x; \theta)$を持つとき、確率関数が以下の式によって表記できる場合、その分布は指数型分布族(exponential family of distribution)に属するといいます。

$f(x; \theta) = exp[a(x)b(\theta) + c(\theta) + d(x)]$

$a(.),b(.),c(.)$や$d(.)$は既知である関数とする。

さらに、$a(x) = x$を満たす場合、その分布は正準形(canoncial form)であると言います。また、$\theta$は分布の自然パラメータ(natural parameter)と呼ばれます。

もし関数に興味のある未知パラメータ$\theta$以外に他のパラメータが存在した場合、関数$a(.),b(.),s(.)$や$t(.)$を構成する局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族に分類される確率分布は、一般化線形モデルを適用することが可能であったり、ベイズ統計において共役事前分布をもつことが示されています。

複数のパラメータをもつ確率分布は、どのパラメータが未知であるかによって、場合によっては指数型分布族には属さないというケースがあります。

以下では、パラメータの既知・未知を場合分けして、証明を進めます。

正規分布が指数分布族に属することの証明

確率変数$X$が平均$\mu$、分散$σ^2$の正規分布に従うとき、確率密度関数$f(x)$は以下の式となります。

$f(x) = \frac{1}{\sqrt{2πσ^2}}\exp{[-\frac{(x-μ)^2}{2σ^2}]}$

このとき、確率密度関数を次のように変形します。

$f(x) = \exp[-\frac{x^2}{2σ^2} + \frac{x\mu}{σ^2} - \frac{\mu^2}{2σ^2} - \frac{1}{2}\log(2πσ^2) ]$

パラメータが複数存在するため、3つの場合に分けて確認していきましょう。

$mu$ 未知 、$σ^2$ 既知のとき

$\theta = \mu$とします。このとき、

$a(x) = x, \, b(\mu) = \frac{\mu}{σ^2}, \, c(\mu) = -\frac{\mu^2}{2σ^2} - \frac{1}{2}\log 2πσ^2, \, d(x) = -\frac{x^2}{2σ^2}$

と書けるため、1パラメータの指数型分布族に属します。

また、$a(x) = x$と表せることから正準形です。

$mu$ 既知、 $σ^2$ 未知のとき

$\theta = σ^2$とします。このとき、

$a(x) = (x - \mu)^2, \, b(σ^2) = - \frac{\mu}{2σ^2}, \, c(σ^2) = - \frac{1}{2} \log 2πσ^2, \, d(x) = 0$

と書けるため、1パラメータの指数型分布族に属します。

また、$a(x) = x$と表せることから正準形です。

$mu$、$σ^2$ともに未知のとき

$\theta = (\mu, σ^2)$とします。このとき、

$\begin{cases} a_{1}(x) = x \\ b_{1}(\theta) = \frac{\mu}{\sigma^2} \end{cases} \quad \begin{cases} a_{2}(x) = x^2 \\ b_{2}(\theta) = - \frac{1}{2\sigma^2} \end{cases} \quad c(\theta) = -\frac{\mu^2}{2\sigma^2} - \frac{1}{2}\log 2\pi\sigma^2, \quad d(x) = 0$

と書けるため、2パラメータの指数型分布族に属します。

関連記事

指数型分布族とは？定義と性質をわかりやすく解説

共役事前分布を分かりやすく解説

指数型分布族の性質を利用した期待値と分散の求め方