指数型分布族とは？定義と性質をわかりやすく解説

2024.3.07

2024.5.17

指数型分布族

指数型分布族とは
指数分布族の定義
指数型分布族の性質
1. 指数型分布族の性質を利用した期待値・分散の求め方
2. 指数型分布族である分布は共役事前分布をもつ
k個のパラメータを持つ場合の指数型分布族
指数型分布族に分類される代表的な分布
関連記事

指数型分布族とは

指数型分布族とは、ある特徴をもつ確率分布が属する分布集まりを意味しています。主な特徴として、ベイズ統計において、これらの分布は共役事前分布をもつことが上げられます。

指数分布族の定義

指数分布族の定義は以下です。

【定義①】
確率変数 $X$ が1つの未知パラメータ $\theta$ を持つ確率分布に従とし、その確率密度関数 $f(x; \theta)$ であるとする。このとき、確率密度関数が以下の式によって表記できる場合、その分布は指数型分布族(exponential family of distribution)に属する。
$f(x; \theta) = s(x)t(\theta) \mathrm{e}^{a(x)b(\theta)}$
ただし、 $a(.),b(.),s(.)$ や $t(.)$ は既知である関数とする。

【定義②】
上記の式について $s(x) = \exp[d(x)], t(\theta) = \exp[c(\theta)]$ とした場合、以下のように書き直すこともできる。
$f(x; \theta) = \exp[a(x)b(\theta) + c(\theta) + d(x)]$

さらに、 $a(x) = x$ を満たす場合、その分布は正準形(canoncial form)であると言います。また、 $\theta$ は分布の自然パラメータ(natural parameter)と呼ばれます。

もし関数に興味のある未知パラメータ $\theta$ 以外に他のパラメータが存在した場合、関数 $a(.),b(.),s(.)$ や $t(.)$ を構成する局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族の性質

指数型分布族が持つ性質の中で特によく使われるものを2つ紹介します。

指数型分布族の性質を利用した期待値・分散の求め方

期待値・分散を求める方法は確率密度関数や積率母関数を用いて計算を行うことが一般的です。

指数型分布族に分類される分布は、指数型分布族であることを用いた導出方法があります。この導出方法は特に正準形である場合、指数型分布族に属する分布に従う確率変数の期待値・分散を求めることと同値となります。

指数型分布族の性質を利用した導出方法、実際に指数型分布族であり正準形である分布に対して導出を行った具体例については、「指数型分布族の性質を利用した期待値と分散の求め方」をご確認ください。

指数型分布族である分布は共役事前分布をもつ

指数型分布族はベイズ統計とも関連が深い分布族です。ベイズ統計学の事前分布の設定を考え方に共役事前分布という考え方がありますが、指数型分布族は共役事前分布を持ちます。

共役事前分布がどのような形の分布になるかは、データを取ってくる母集団の確率分布によって決定されます。例えば、母数の規定する確率分布が二項分布の場合、事前分布をベータ分布に設定すれば、事後分布もベータ分布になります。

このように、母数が規定する確率分布に対して、適切な事前分布を持ってくれば、事後分布は事前分布と同じ形の分布になる訳ですが、一般に、母数が規定する確率分布が指数型分布族である場合、その分布には共役事前分布が存在することが知られています。

そのため、指数型分布族に属する分布について未知のパラメータを推定したい時は、共役事前分布を事前分布と設定することで事後分布の計算が容易となるのです。

k個のパラメータを持つ場合の指数型分布族

確率変数 $X$ が $k$ 個のパラメータ $\theta = (\theta_{1}, \theta_{2}, ..., \theta_{k})$ を持つとします。

その確率密度関数 $f(x; \theta) = f(x; \theta_{1}, \theta_{2}, ..., \theta_{k})$ が次の式で表せる場合、その分布は $k$ パラメータの指数型分布族に属するといいます。

$k$ パラメータの指数型分布族
$\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle f(x; \theta_{1}, \theta_{2}, .... \theta_{k}) \\ &= \displaystyle s(x)t(\theta)\exp[\sum_{i=1}^k a_{i}(x) b_{i}(\theta) ] \\ \end{split}\end{equation*}$
また、 $\begin{equation*}\begin{split} c(\theta) = \log[t(\theta)], d(x) = \log[s(x)] \end{split}\end{equation*}$ とおくことで、次のように書き表すことができます。
$\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[\sum_{i=1}^k a_{i}(x) b_{i}(\theta) + c(\theta) + d(x) ] \\ \end{split}\end{equation*}$