数学

深層学習をはじめた

はじめに 先日,これに参加*1して,心底思ったのは「深層学習を避けては通れない」ということでした.connpass.com 深層学習やろうにも,はじめて見るにも何をしたらいいのかさっぱりなので,現状行っている勉強について書こうかと思います. 本題 まず,と…

PythonでKullback-LeiblerダイバージェンスとJensen-Shannonダイバージェンス

11月5日追記 最下部に追記しました. 前置き 2つの確率分布の違いを表す指標にKullback-Leiblerダイバージェンス(以下KLダイバージェンス)とJensen-Shannonダイバージェンス(以下JSダイバージェンス)があります.詳しいことはamzn.to の1.6を参考にしてくだ…

PRML 演習9.3

9章に入りました. 8章はグラフィカルモデルが読める段階くらいまできたので,後半はすっ飛ばしました. はじめに 式(9.10)と式(9.11)をうまく計算して式(9.7)を求めます.例としてまずはでやってみてからについて求めます. 数式がうまく展開されなかったの…

PRML 演習8.17

はじめに メッセージパッシングのあたりから怪しくなってきましたが,頑張って解きます. 本題 まず以下のような無向グラフを考える. 3と5が観測されているときに,を示す. 観測された場合は,以下のようになる. 上記のグラフよりからの経路は,ただひと…

PRML 演習 8.14

はじめに 研究室の方針で卒論に直接関係する章を優先的に進めようということになり, 2章の途中から一気に下巻8章のグラフィカルモデルです.ちなみにグラフィカルモデルといえば,トピックモデル関連の論文にはほぼ必ず登場します.Amazon.co.jp: トピック…

word2vecのサブサンプリングのtについて

はじめに 昨年の研究とブログとバイトでword2vecを使ったので,そろそろちゃんと中身を理解しようとしました.*1とりあえず以下の論文を読みましたが,途中で引っかかったので,ブログにまとめておきます. 英語力不足などもあり,結局解決していません.wor…

PRML演習2.10 ディリクレ分布の共分散

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます.今…

PRML演習2.10 ディリクレ分布の分散

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます.今…

PRML演習2.10 ディリクレ分布の平均

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to演習2.10は,ガンマ関数の性質を利用することをヒントにしつつ,式(2.38)のディリクレ分布の平均,分散,共分散を求めます. …

PRML 2.8 2変数を使った分散

お知らせ 突然数式が展開されなくなったので, PRML2章 に同様の式展開を記載しています. Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to演習2.8は,p72で言及されている式(…

PRML 2.8 2変数を使った平均

* 余談 当ブログのPRMLの解答は,矮小yousack.hateblo.jp と補完関係にあるため,どちらかに挙がっていれば,積極的に記事にはしない予定です. Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, …

PRML演習2.7 解答

* 余談 当ブログのPRMLの解答は,矮小yousack.hateblo.jp と補完関係にあるため,どちらかに挙がっていれば,積極的に記事にはしない予定です. Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, …

PRML演習2.5 式2.265の導出

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to式2.265の導出を行う.\begin{align} \Gamma(a)\Gamma(b) &= \int^{\infty}_0exp(-x)x^{a-1}dx \int^{\infty}_0exp(-y)y^{b-1}…

PRML演習2.6 ベータ分布の分散

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.to前回と同じ問題の続きPRML演習2.6 ベータ分布の平均 - 鴨川にあこがれる日々nzw.hatenablog.jpベータ分布の分散を求める.分散…

PRML演習2.6 ベータ分布の平均

Amazon.co.jp: パターン認識と機械学習 上: C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本amzn.toベータ分布の平均を求める.ベータ分布は連続変数の確率分布であるため,平均はp.19の式(1.34)を使う.\begin{align} \mathbb{…