PRML演習2.10 ディリクレ分布の平均

amzn.to

演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます.
今回は平均です.

いくつか資料を読んでみましたが,被積分変数が違ってちょっと困ったので,自分なりの解答です.

参考にしたページ

1. 2.10 ディリクレ分布の平均・分散 | PRML徹底入門
積分変数は \mu_kだと思ったのだけれど,どうなんだろう...

2. http://www-ikn.ist.hokudai.ac.jp/~yasuhiro-suzu/Dirichlet.pdf

積分変数が途中で分解されるのだけれど,その変形はしなくてもできました...

間違っているようでしたらご指摘をいただけると幸いです

解答

\begin{align}
\mathbb{E}[\mu_j]=\frac{\alpha_j}{\alpha_0} \tag{2.273}
\end{align}
が成立することを示します.


多変数確率密度の性質として式(1.30)と
期待値として式(1.34)を利用します.

資料1にあるように,式(1.30)を利用してガンマ関数の部分と \Piを分けます.
(ただ資料1だと被積分変数が \mu_jになっているが,式(1.30)のようにここはkでいいと思われる)

\begin{align}
\int Dir(\boldsymbol{\mu}|\boldsymbol{\alpha}) d\mu_k &= 1 \\
\int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= 1 \\
\int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_0)}
\end{align}

この関係を後の式展開で利用します.


式(1.34)より,
\begin{align}
\mathbb{E}[\mu_j] &= \int Dir(\boldsymbol{\mu}|\boldsymbol{\alpha}) \mu_j \ d\mu_k \tag{1}\\
&= \int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j \ d\mu_k \tag{2} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j \ d\mu_k \tag{3} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_j+1) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_1 + \cdots + (\alpha_j + 1 )+ \cdots \alpha_k)} \tag{4}\\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \alpha_j\Gamma(\alpha_j) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_0 +1)} \tag{5}\\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \alpha_j\Gamma(\alpha_j) \cdots \Gamma(\alpha_K)}{\alpha_0\Gamma(\alpha_0)} \tag{6}\\
&= \frac{\alpha_j}{\alpha_0} \tag{7}\\
\end{align}

  • 式(2):ディリクレ分布の式(3.38)を代入
  • 式(3):ここガンマ関数は \alphaの関数であるので,積分の外に出す
  • 式(4):上で積分値が1になることを利用した式変形をここに代入.ただし \mu_jの指数が1大きいので,ガンマ関数もそれに合わせた形に \alpha_jをする.また, \alpha_0は式(2.39)であるので,一旦展開
  • 式(5)〜式(7):ガンマ関数の定義に従って式変形して,約分

式(2.273)の右辺を導くことができました.


以上.