PRML演習2.10 ディリクレ分布の分散

amzn.to

演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます.今回は分散です.

平均はこちらをnzw.hatenablog.jp

基本的には,前回の平均と同じ式変形を行うだけであるので,
ガンマ関数の展開に注意するだけです.

\begin{align}
var[\mu_j] = \frac{\alpha_j(\alpha_0-\alpha_j)}{\alpha_0^2(\alpha_0+1)} \tag{2.274}
\end{align}
が成立することを示します.


多変数確率密度の性質として式(1.30)と
期待値として式(1.34)を利用と
分散を平均で表すことができる式(1.39)
を利用します.

前回同様
\begin{align}
\int Dir(\boldsymbol{\mu}|\boldsymbol{\alpha}) d\mu_k &= 1 \\
\int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= 1 \\
\int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_0)}
\end{align}

この関係を後の式展開で利用します.


\begin{align}
var[\mu_j] &= \mathbb{E}[\mu_j^2] - (\mathbb{E}[\mu_j])^2 \tag{1} \\
&= \int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j^2 \ d\mu_k - (\frac{\alpha_j}{\alpha_0})^2 \tag{2} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j^2 \ d\mu_k - (\frac{\alpha_j}{\alpha_0})^2 \tag{3} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_j+2) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_1 + \cdots + (\alpha_j + 2 )+ \cdots \alpha_k)} - (\frac{\alpha_j}{\alpha_0})^2 \tag{4} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots (\alpha_j+1)\Gamma(\alpha_j+1) \cdots \Gamma(\alpha_K)}{(\alpha_0 + 1)\Gamma(\alpha_0 +1)} - (\frac{\alpha_j}{\alpha_0})^2 \tag{5} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots (\alpha_j+1)(\alpha_j)\Gamma(\alpha_j) \cdots \Gamma(\alpha_K)}{(\alpha_0+1)(\alpha_0)\Gamma(\alpha_0)} - (\frac{\alpha_j}{\alpha_0})^2 \tag{6} \\
&= \frac{(\alpha_j + 1)\alpha_j}{(\alpha_0+1)\alpha_0} - (\frac{\alpha_j}{\alpha_0})^2 \tag{7} \\
&= \frac{\alpha_j(\alpha_0-\alpha_j)}{\alpha_0^2(\alpha_0+1)} \tag{8}
\end{align}

  • 式(2):第1項は,ディリクレ分布の式(3.38)の \mu_k^2の平均を代入,第2項は,前回求めた平均を代入
  • 式(3):第1項はのガンマ関数は, \alphaの関数であるので,積分の外に出す
  • 式(4):上で積分値が1になることを利用した式変形をここに代入.ただし \mu_jの指数が2大きいので,ガンマ関数も合わせて \alpha_jを変える.また, \alpha_0は式(2.39)であるので,一旦展開
  • 式(5)〜式(7):ガンマ関数の定義に従って式変形して,約分

式(2.274)の右辺を導くことができました.


以上.