読者です 読者をやめる 読者になる 読者になる

鴨川にあこがれる日々

軽い技術っぽい記事かいてます

PRML 2.8 2変数を使った平均

* 余談
当ブログのPRMLの解答は,yousack.hateblo.jp
と補完関係にあるため,どちらかに挙がっていれば,積極的に記事にはしない予定です.


amzn.to

演習2.8は,p72で言及されている式(2.21)の平均と分散を求める問題である.
今回は平均を求めます.
(私はひねくれているので,)Google検索した回答だと \int を使ったものが散見されたので,
 \sumで解いてみます.


\begin{align}
\mathbb{E}[x] = \mathbb{E}_y[\mathbb{E}_x[x|y]] \tag{2.270}
\end{align}
が成立することを示す.

主に回答で利用した式は,

\begin{align}
\mathbb{E}_x[f] = \sum_x p(x)f(x) \tag{1.33}
\end{align}

\begin{align}
\mathbb{E}_x[f|y] = \sum_x p(x|y)f(x) \tag{1.37}
\end{align}
です.

式(2.270)より,内側から展開していくと,

\begin{align}
\mathbb{E}_y[\mathbb{E}_x[x|y]] &= \mathbb{E}_y[\sum_x x \ p(x|y)] \tag{1} \\
&= \sum_y p(y) \sum_x x \ p(x|y) \tag{2} \\
&= \sum_y p(y) \sum_x x \ \frac{p(x,y)}{p(y)} \tag{3} \\
&= \sum_y p(y) / p(y) \sum_x x \ p(x,y) \tag{4} \\
&= \sum_y \sum_x x \ p(x,y) \tag{5} \\
&= \sum_x \sum_y x \ p(x,y) \tag{6} \\
&= \sum_x x\ p(x) \tag{7} \\
&= \mathbb{E}[x] \tag{8}
\end{align}

式(1)は,式(1.37)を使って内部の平均を展開
式(2)も,同様であるが,p19にあるように,式(2)で展開した平均である xのサムネーションは, yの関数となるのでこの形になる
式(3)で乗法定理をつかって内側の平均を変形
式(4) \frac{1}{p(y)} xとは無関係なので, \sum_xの外に出す
式(6) \sumの順序を交換できるので入れ替える(これが思い出せなかったが高校数学らしい)
式(7)加法定理より, yを消去
式(8)は xの平均の定義式なので,式(2.270)は成立する.

以上.

謝辞

本回答にあたり,@shima_shimaさんにアドバイスを頂きました(というか答えに近いですが...)

この場をお借りしてお礼を言いたいと思います.
ありがとうございます.