正規分布が指数型分布族に属することの証明

2024.3.16

指数型分布族とは
正規分布が指数分布族に属することの証明
関連記事

指数型分布族とは

確率変数 $X$ が1つの未知パラメータ $\theta$ を持つ確率分布に従い、その確率分布が確率（密度）関数 $f(x; \theta)$ を持つとき、確率関数が以下の式によって表記できる場合、その分布は指数型分布族(exponential family of distribution)に属するといいます。

$f(x; \theta) = exp[a(x)b(\theta) + c(\theta) + d(x)]$
$a(.),b(.),c(.)$ や $d(.)$ は既知である関数とする。

さらに、 $a(x) = x$ を満たす場合、その分布は正準形(canoncial form)であると言います。また、 $\theta$ は分布の自然パラメータ(natural parameter)と呼ばれます。

もし関数に興味のある未知パラメータ $\theta$ 以外に他のパラメータが存在した場合、関数 $a(.),b(.),s(.)$ や $t(.)$ を構成する局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族に分類される確率分布は、一般化線形モデルを適用することが可能であったり、ベイズ統計において共役事前分布をもつことが示されています。

複数のパラメータをもつ確率分布は、どのパラメータが未知であるかによって、場合によっては指数型分布族には属さないというケースがあります。

以下では、パラメータの既知・未知を場合分けして、証明を進めます。

正規分布が指数分布族に属することの証明

確率変数 $X$ が平均 $\mu$ 、分散 $σ^2$ の正規分布に従うとき、確率密度関数 $f(x)$ は以下の式となります。

$f(x) = \frac{1}{\sqrt{2πσ^2}}\exp{[-\frac{(x-μ)^2}{2σ^2}]}$

このとき、確率密度関数を次のように変形します。

$f(x) = \exp[-\frac{x^2}{2σ^2} + \frac{x\mu}{σ^2} - \frac{\mu^2}{2σ^2} - \frac{1}{2}\log(2πσ^2) ]$

パラメータが複数存在するため、3つの場合に分けて確認していきましょう。

$mu$ 未知、 $σ^2$ 既知のとき

$\theta = \mu$ とします。このとき、

$a(x) = x, \, b(\mu) = \frac{\mu}{σ^2}, \, c(\mu) = -\frac{\mu^2}{2σ^2} - \frac{1}{2}\log 2πσ^2, \, d(x) = -\frac{x^2}{2σ^2}$

と書けるため、1パラメータの指数型分布族に属します。

また、 $a(x) = x$ と表せることから正準形です。

$mu$ 既知、 $σ^2$ 未知のとき

$\theta = σ^2$ とします。このとき、

$a(x) = (x - \mu)^2, \, b(σ^2) = - \frac{\mu}{2σ^2}, \, c(σ^2) = - \frac{1}{2} \log 2πσ^2, \, d(x) = 0$

と書けるため、1パラメータの指数型分布族に属します。

また、 $a(x) = x$ と表せることから正準形です。

$mu$ 、 $σ^2$ ともに未知のとき

$\theta = (\mu, σ^2)$ とします。このとき、

$\begin{cases} a_{1}(x) = x \\ b_{1}(\theta) = \frac{\mu}{\sigma^2} \end{cases} \quad \begin{cases} a_{2}(x) = x^2 \\ b_{2}(\theta) = - \frac{1}{2\sigma^2} \end{cases} \quad c(\theta) = -\frac{\mu^2}{2\sigma^2} - \frac{1}{2}\log 2\pi\sigma^2, \quad d(x) = 0$