読者です 読者をやめる 読者になる 読者になる

鴨川にあこがれる日々

軽い技術っぽい記事かいてます

PRML演習2.10 ディリクレ分布の共分散

数学

amzn.to

演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます.今回は共分散です.

平均はこちらをnzw.hatenablog.jp

分散はこちらをnzw.hatenablog.jp


基本的には,平均と分散と同じ式変形を行うだけです.*1

\begin{align}
co[\mu_k \mu_l] = - \frac{\alpha_j \alpha_l}{\alpha_0^2(\alpha_0+1)}
\end{align}



である式(2.275)が成立することを示します.


多変数確率密度の性質として式(1.30)と
期待値として式(1.34)を利用と
2つの確率変数xとyの共分散を表す式(1.41)
を利用します.

前回同様
\begin{align}
\int Dir(\boldsymbol{\mu}|\boldsymbol{\alpha}) d\mu_k &= 1 \\
\int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= 1 \\
\int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} d\mu_k &= \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_0)}
\end{align}

この関係を後の式展開で利用します.
式展開を見やすくするために,便宜的に j < lとします.

\begin{align}
co[\mu_k \mu_l] &= \mathbb{E}_{x,y}[\mu_j,\mu_l] - (\mathbb{E}[\mu_j])(\mathbb{E}[\mu_l]) \tag{1} \\
&= \int \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j \ \mu_l \ d\mu_k - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{2} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \int \Pi_{k=1}^K \mu_k^{\alpha_{k}-1} \mu_j \ \mu_l \ d\mu_k - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{3} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \Gamma(\alpha_j+1) \cdots \Gamma(\alpha_l+1) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_1 + \cdots + (\alpha_j + 1 )+ \cdots + (\alpha_l + 1 )+ \cdots \alpha_k)} - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{4} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \alpha_j\Gamma(\alpha_j) \cdots \alpha_l\Gamma(\alpha_l) \cdots \Gamma(\alpha_K)}{\Gamma(\alpha_0+2)} - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{5} \\
&= \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1) \cdots \Gamma(\alpha_K)} \frac{\Gamma(\alpha_1) \cdots \alpha_j\Gamma(\alpha_j) \cdots \alpha_l\Gamma(\alpha_l) \cdots \Gamma(\alpha_K)}{(\alpha_0+1)\alpha_0\Gamma(\alpha_0)} - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{6} \\
&= \frac{\alpha_j \alpha_l}{(\alpha_0+1)\alpha_0} - \frac{\alpha_j}{\alpha_0}\frac{\alpha_l}{\alpha_0} \tag{7} \\
&= - \frac{\alpha_j\alpha_l}{\alpha_0^2(\alpha_0+1)} \tag{8}
\end{align}

  • 式(2):第1項は,ディリクレ分布の式(3.38)の \mu_k \mu_lの平均を代入.前々回の平均では, \mu_jを代入していたところに今回は \mu_lとの積の形で代入します.第2項は,前回求めた平均を代入
  • 式(3):第1項はのガンマ関数は, \alphaの関数であるので,積分の外に出す
  • 式(4):上で積分値が1になることを利用した式変形をここに代入.ただし \mu_j \mu_lの指数がそれぞれ1大きいので,ガンマ関数も合わせて変える.また, \alpha_0は式(2.39)であるので,一旦展開
  • 式(5)〜式(8):ガンマ関数の定義に従って式変形して,約分

式(2.275)の右辺を導くことができました.



以上.

問全体として,平均の展開の仕方さえできれば分散,共分散は楽に展開ができました.

*1:MathJaxでcovを入力すると数式として表示されなかったので,ここではcovをcoとしています.すみません