深層学習をはじめた

はじめに

先日,これに参加*1して,心底思ったのは「深層学習を避けては通れない」ということでした.

connpass.com


深層学習やろうにも,はじめて見るにも何をしたらいいのかさっぱりなので,現状行っている勉強について書こうかと思います.

本題

まず,となりの研究室に深層学習(画像が専門なのでCNN)をやっている方々がいるので,指導教官を交えて相談した結果,合同勉強会をしてもらえるようになりました*2

幸いなことに自分の研究室でも興味を持った方がいたので,10人規模になりました.
しみじみ思いますが,同じ研究室で複数人で取り組めると実装の相談や概念の理解するのがだいぶ楽になります.


勉強会では,日本語の深層学習の書籍は以下の2冊が良さそうなのでまずは青をメインで輪講をすることになりました.(明日が第1回目)

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)

私的に2冊の内容を眺めてみた感じ,青をやってから紫に入るのがいい気がしています.(青はパーセプトロンの基礎から始まるため)

日本語では限界があるので,詳しく知りたいと思ったら
Yoshua Bengio先生たちのテキスト Ian Goodfellow --- Redirect を適宜参照して進めることにしました.



chainer使えば楽なのは知っていますが,フレームワークを使わないで実装したほうが理解が進むと思ったので,実装もします.
多層パーセプトロンを実装するにあたって,青の4章の誤差逆伝播 と このチュートリアルの7 Graham Neubig's Teaching がだいぶ参考になりました.*3

自分で実装したコードと,パラメータの変化させた時の挙動をplotしたものはこっちにまとめています.
http://nzw0301.github.io/2015/11/blueDeepLearningChapter44code/

かいてみると大したことはしていませんでした.

面白いことができたら何か書こうと思います.
以上です.

*1:私の発表自体はよくわからなかったと言われたので申し訳ありませんという気持ちでいっぱいです

*2:この時点で卒論提出2ヶ月前

*3:前者は行列,後者はベクトルで処理していると解釈しています