ベイズ推定の定義や考え方を解説

ベイズ推定とは

ベイズ推定とは、ベイズ推定量を算出してリスクの平均を最小にする考え方です。

ベイズ推定を理解するには、ある程度の前提知識が必要です。それらの前提知識を簡単に補いつつ、ベイズ推定の考え方を解説していきます。

ベイズ推定の理解に必要な前提知識

ベイズ推定を学習する前に、決定理論の概念を理解しておく必要があります。

決定理論とは、得られた情報（データ）からどのような行動をとるかを、統計学的に決定するための理論です。

また、行動を決定するために用いる関数として、損失関数、決定関数、危険関数（リスク関数）があります。

これらの関数を説明するために、以下の空間を定義します。

・標本空間$X$：確率変数の観測値からなる集まり

・行動空間$A$：行動の全体

・決定空間$D$：決定関数の全体

・母数空間$\Theta$：パラメータが取りうる値の全体

損失関数

損失関数$L(\theta,a)$はどのような行動を取るかによって決まるため、行動$a$の関数になります。

行動$a_0$のとき、$L(\theta,a=a_0)$は、$a_0\in A$という行動をとったときのパラメータ$\theta\in \Theta$との間に発生した損失といいます。

損失関数の置き方には以下のようなものがあります。

絶対損失：$L(\theta,a)=|\theta-a|$
平方損失：$L(\theta,a)=(\theta-a)^2$

決定関数

$\delta(x):X→A$を決定関数といいます。

$\delta(x)=a$と表す場合、これは$x\in X$というデータが与えられたときに$a\in A$という行動を選ぶということを意味します。

危険関数（リスク関数）

リスク関数$R(\theta,\delta)=E[L(\theta,\delta(x))]$は、損失関数の期待値を意味します。

危険関数に実際に決定手法$\delta_0$が入ったとき、$R(\theta,\delta_0)$をリスクと呼びます。

損失や危険関数については、「危険関数（リスク関数）とは」で例題を交えて分かりやすく解説をしています。併せてご確認ください。

ベイズ推定の考え方

改めて、ベイズ推定とは、ベイズ推定量を算出してリスクの平均（平均リスク）を最小にする考え方です。

平均リスクは事前分布におけるリスクの期待値を意味します。平均リスクは以下のように定義されます。

$\pi(\theta)$を、$\theta$を確率変数とみなした事前分布とする。

リスクを$R(\theta,\delta)$とすると、平均リスクは以下となる。

$r(\pi,\delta)=E[R(\theta,\delta)]$

連続型確率変数の場合

$r(\pi,\delta)=E[R(\theta,\delta)]=\int_{\Theta}R(\theta,\delta)\pi(\theta)d\theta$

離散型確率変数の場合

$r(\pi,\delta)=E[R(\theta,\delta)]=\sum_{\theta\in\Theta}R(\theta,\delta)\pi(\theta)$

平均リスクを最小にするような推定量をベイズ推定量、このときのリスクをベイズリスクといいます。

平均リスク$r(\pi,\delta)$を最小にするような$\theta$の推定量$T=\delta(x_1,x_2,...,x_n)$があるとき、この$T$を事前分布$\pi(\theta)$に対するベイズ推定量という。

また$T$がベイス推定量であるとき、このときのリスク$r(\pi,T)$をベイズリスクという。

関連記事

決定理論を分かりやすく説明

危険関数（リスク関数）とは

ベイズ推定量の性質と導出を例題を用いて解説