読者です 読者をやめる 読者になる 読者になる

鴨川にあこがれる日々

軽い技術っぽい記事かいてます

年末に読んだ本とか

雑感

今年の目標は死なないことです*1

先月末に念願の佐久島(妃真加島のモデル)に行きました.観光客が多いシーズンは夏なので個人的にはちょうどよかったです.三河湾の島の中では一番でかいですが,栄えてはいないそうです.

この道中や宿で読書をしていたのでその2冊について.

なぜあなたの研究は進まないのか?

なぜあなたの研究は進まないのか?

特に印象的だったのは,「読んだ論文は,サーベイ論文としてまとめること」です.私は1つの論文を1つのブログ記事としてまとめているんですが,サーベイ論文としてまとめるほうがいいまとめ方だと思いました.サーベイ論文として書くと,読んだ論文の位置づけがわかりますし,論文の関連研究を書く際に使えます.運が良ければサーベイ論文として出版できるかもしれないのでいい事づくしな印象です.

SOFT SKILLS ソフトウェア開発者の人生マニュアル

SOFT SKILLS ソフトウェア開発者の人生マニュアル

アメリカのソフトウェアエンジニアの話なので日本だと実践しにくいことが少しありますが,すごいよい本でした.ポモドーロテクニックやさっさと引退する方法,筋トレ,モチベーション,勉強法などが書かれています.繰り返し「ブログを書いたほうがいい」と書かれていますがエンジニアにかかわらず,研究者でもいえるような気がしています.海外の研究者の方で,書いた論文についての解説ブログ(コード付き)で公開している方は目にしますし,実装の公開やわかりやすい使用例などが使ってもらう頻度や被引用数,知名度があがりやすくなるためです.


その他

来月はイギリスに行く予定です.

*1:クリスマスは食中毒,年始は天井から浸水してました.

2016年の振り返り

雑感

去年と同様に.

月ごと

  • 01月.不審者が住んでいる建物に出たり,プライベートでいろいろあってでわりとしんどかった.前厄でこれなので本厄は死ぬのでは.scalaを書こうとして挫折.
  • 02月.引っ越.
  • 03月.言語処理学会年次大会@東北.学位授与式.トピックモデルの輪読会でLT.京都旅行.
  • 04月-05月.指導教官がいなかったらやめるレベルで講義が嫌だった.研究せずにKerasを触ってた.たまにdocumentのcommitして喜んでた.
  • 06月.オタクMLでLT.
  • 07月.インターンに申し込んでは落ちた(3/3で落ちた).
  • 08月.トピックモデルをいろいろ書いた.ERATO感謝祭@NIIの聴講.研究室合宿で那須観光.
  • 09月.KDD2016勉強会@東京と最先端NLPに参加.
  • 10月.WebDBForum@日吉(去年の発表が名誉ある賞を頂いたため).後期の講義がはじまって憂鬱になった.査読結果がreject
  • 11月.IBIS@京都.
  • 12月.佐久島と名古屋観光.

昨年と比較して

まったく覚えていなかったが,去年の自分は以下のようなことを言っていた.

1. 大学院の講義で時間を取られて研究できないという話をきいているので,なんとかうまくこなす
2. わりと基礎がおざなりになっているので,数学と英語(?)をやる
3. できるだけ研究以外のことにかかわらない
4. 誤字がひどくって書き上げるのが早くないと,出せる状態になってないことがあるので,誤字を減らしたい


以下,評価します,

1. こなせませんでした
2. していません
3. まぁまぁ...(その割に業績は増えてないけど...)
4. 執筆の速度はあがった気がしているけど,誤字は減ってない...

以上.まともに達成できていませんでした.

今年全体を通して

卒業などで交際費が激減したため,電子書籍を中心に色々読んだ.

booklog.jp


欲しかったら購入するようにしたため図書館利用がほぼなくなった.今は図書館で論文を印刷するのが主な入館目的.学部生の頃の方が使うことが多いので,学部生から24h図書館に入れるようにすればいいのに.

研究

昨年ほどちゃんとしたところに通せてないので,頑張ろうと思いました...

Mendeley,feedlyGoogle scholarで自動化できる部分は自動化.

アウトプット的な

Qiitaでgistパクられたり,自分の投稿のスクショを貼られることがあって記事を全部削除した.ページビューはQiitaに置いたほうが全然高いが,ビュー稼ぐために書くわけではないので,基本的にgithub.ioに移行.

nzw0301.github.io

来年のこと

理論よりの英語論文をかきたいです...

M2になるので就活です.

よいお年を.

2016年に買ったものとか

雑感

気を緩めるとGibbs samplingのことを考えてしまう気質*1と進学した関係もあり交際費が激減したためAmazonで昨年の倍くらい注文した(基本的に漫画か小説).

よいものはよいと言いたいので,褒めます.

ヘッドホン

はじめてヘッドホンを購入.音量をそこまであげなくても周囲の音が全然聞こえなくなるので,すごくいい.ワイヤーの部分が長すぎた.

文具

ロジクール ワイヤレス プレゼンター R400t

ロジクール ワイヤレス プレゼンター R400t

学会に行くたびに毎回大学からレーザーポインタを借りていたのだが,それがめんどうになったため購入.スライドの移動もこれでできるので楽.


多機能ペンとして初めて購入.

今年は購入冊数が300冊超えてた.漫画は基本的にkindleです.

SF

あなたのための物語

あなたのための物語

バーナード嬢曰く。』という漫画で興味を持ったので購入.サマンサ・ウォーカーという研究者の余命半年を扱ったもの.今年一番影響を受けた気がする.

森博嗣

ミステリではなく,家族に関する小説.この家族の形を少し冷たいと思う一方で,理想的な気もした.

漫画

主人公が異常な執念をもってる,比較的暗い漫画を好んで読んだ (e.g. 『賭ケグルイ』) .


主人公が強いバドミントンの話.表紙は主人公.同著者の『パジャマな彼女。』もよい.

格段に高い演技力と醜い顔をもつ主人公が,美人と顔を入れ替えて脚光を浴びていく話.暗い.

ボルダリングコメディ漫画.ボルダリングは研究に似てる気がする.


旦那さんが作ったお酒をOLの奥さんが飲んでイチャイチャする漫画.
余談だが,クリスタルな洋介氏がサンデーでやっていた読み切りギャグ漫画『父さんとオモチャ達』をご存知だろうか.小学生の頃にそれを読んで爆笑していた.


必読百合情報.


新書

人間とは何か (岩波文庫)

人間とは何か (岩波文庫)

自分を満足させるため.

映画

Amazon prime会員は映画が見放題なので,かなり時間的余裕があるときに見た.商品が増えてきたので,来年からはレンタルショップ行かないかもしれない.

ビンラディンを追い詰めるドキュメンタリィ風の映画.明るい気持ちには決してならない.


列挙したものはAmazonアフィリエイトへのリンクなので経由して買っていただくと喜びます.

*1:冗談半分

8月の振り返り

雑感 プログラミング イベント

技術的なこと

サーバ

気づいたらcronの実行にしか使っていなかったので,レンタルサーバを解約した.実は図書館系のデータ*1をずっと集めていたのだが,気づいたら解約日になっていたので闇に消えた.cronで実行していたコードは,PC起動時にスクリプト実行してslackやTwitterに通知させればいいかなと思ったので,時間ができたらやるかも.

Keras

翻訳が滞っていたので少しだけ更新した.
RNNを頑張る方がいるので,Bidirectionalとかが取り込まれててNLPの人間としては嬉しい.

Juliaを久しぶりに書いた

Pythonは遅い,Keras,scikit-learn,numpy/scipy,pandas,jupyterの内部で収まっていればいいが,自前でモデルを書いた場合に,データに対してスケーラブルでない.かといってCythonを書いてしまうと柔軟性が失われてしまう*2.今までだとJavaで書いていたけれど,やっぱりPythonくらい柔軟に拡張したくなる*3.というわけでほぼ1年ぶりにgadfly以外の用途でJuliaを書いた.当時はv0.3だったけど,今はv0.4になっていた.Juliaの速度は申し分ないし,PythonをCythonで書くよりも労力が少なかったので感動した.オブジェクト指向ではないので,そこに慣れてしまえば書きやすいと思う*4.ただし,言語としてまだ若いので研究室でおすすめはまだできないかなぁという感じもする.

イベント

河原林ERATOの感謝祭

Program | ERATO感謝祭 SeasonⅢ
トップ会議頑張って出そうと思いました(小並感).

分散表現の研究に興味があるので,AAAIの論文の論文のことをざっくり書くと,

  • embeddngsの性能をあげる方向性として言語資源(辞書)を使う
  • gloveの最適化の式に言語資源の情報を正則化として加える(類義語とか)
  • 学習データが少ない時に上がり幅が大きい
  • 言語資源の中では,類義語を使う場合がもっともよい
  • w2vでも可能だが,glovenのほうが良い (あとで思ったが,w2vの場合は正則化項といれるよりも正例や入力にいれるなどの使った方がよさそうな印象)

という感じでした.

合同ゼミ合宿

那須に行った.研究をどうしていくかでやや盛り上がったので,合同ゼミのページを作るなどしていた.github pagesはjekyll,git,github が使えればブログページが公開できるのだが,誰かひとりがずっと担当していると引き継ぎに失敗した場合作りなおしになりかねない.なので,できるだけ低コストでやりたいのだけれど,github pagesよりも楽に管理できる方法があれば知りたい...
那須は素晴らしいところで気分転換にもなったが,車がないと移動がしんどいところだったので,自動運転の時代が早く気てほしいなぁとか思っていた.

ちなみにこれです.

slis-ml.github.io

生活的なこと

研究科

研究科選びを失敗したなとか思って憂鬱になっていた.書きながら振り返ると別にTwitterに書いても講義はよくなるわけでもないので,黙って研究だけしていようと思うなどした*5.学部のころは授業アンケート*6にぶつけていたが,大学院ではそれがないため,講義担当の教員への直接的なフィードバックができない気がしている.

その他

「のぼる小寺さん」という漫画に感銘を受けたので友人たちを誘って駅前にあるボルダリングに行った.このスポーツが研究と似ているとは薄々思っていたが,ルールを聞いてみるとやっぱり似ていた(気がする).

ルールを説明しましょう.壁にホールド*7が埋め込まれています.これは全部使っていいわけではなくて,コースによって手で掴んでいいホールドが決められています.ただし,足はスタート位置が決められているだけなので,好きなところを踏んでよいです.コースごとにゴールとなるホールドが定められており,それを両手でつかむとクリアです.このため,登りながら次に使うホールドを決めていると疲れるため,登る前にどのような体運びでゴールを目指すかを考える必要があります*8.説明おわり.

ボルダリングは腕力がなくても足の可動域が広ければ楽な体勢がとれるので,そういったところで筋力をカバーできる気がした.
運動不足がたたり,1h体験コースだけで翌日は筋肉痛に襲われた.

*1:以前ブログにも出てきた図書館を含むTweetとNDLの全国書誌

*2:あれば別言語にしか見えない

*3:Java力が低いせいかもしれない

*4:これも自分のJulia力が低いので,誤解があるかもしれない

*5:エネルギ使うだけ無駄なので講義に使う労力と時間を最小化すればよい

*6:噂だと全体で3人くらいしか出さないらしい

*7:壁に埋め込まれただいたい単色の岩

*8:ある事柄を知りたいというゴールは1つであるがそのアプローチは様々である研究に似ているような...似てない?

7月の振り返り

雑感

月末はバタバタしそうなので,先に書いておきます.

技術的なこと

上旬に以前の環境が壊れた研究室のサーバーの再構築の手伝いをした.ユーザ作成,ライブラリ再インストールの作業がめんどくさいのだが,自動化ツールを身につけるほどの頻度でもないので,難しい.

同じゼミの人と「やっぱりKaggleしないとだめですよね」というような話になって,とりあえずMNISTを使った例題をCNNで解いた.雛形の賞金がもらえるタスクはAWS使わないと厳しい印象を持っているので挑戦しないつもり.日本でもいくつかKaggleの類似サイトがある.賞金はでないが,論文の共著者になれるというものがあり,それに5日間取り組んだ.1つ上の順位の人と大差が付いているが,そこそこの順位になっているのでこのまま進んで欲しい.自分はこの手のものに参加すると他のことが手につきにくくなるので,控えめに続けていきたい.

研究室でしばらくやっていなかった論文読み会を再開した.
wkblab.github.io
機械学習系に興味のある学生と教員から構成されるSlackを思いつきでつくったので,そこの人に参加を呼びかけたのだが,やっぱり英語論文だと難しいのか,時間の都合がつかないのかで人が集まらなかった.初回では自分はKDD2016のnode2vecを紹介した.
nzw0301.github.io

Twitterで話題になった論文をよく見たらTomas Mikolov氏が入っていたことにgoogle alertで気づいたので,急いで読んだ.
CNNで頑張るより3層のNNでも同じような精度出せるし,学習速いよというものであった.特殊なケースについてはモデルの再実装も行った.Kerasを使うとやっぱり速く作れる.
nzw0301.github.io

賞罰関係として,昨年の11月のWebDBForumの発表を情報処理学会のCS領域奨励賞に選んでいただいた.
2016年度受賞者-情報処理学会
大変ありがたい....

その他

先輩がチケットを余らせてしまったということで行きたかった凛として時雨のライブにいった.以前EGOISTのライブで

  • 聴衆がうるさい
  • 聴衆のペンライトが邪魔

とライブに向いてない人間であることがわかっていたのだが,今回はペンライトもないし,聴衆も静かで最高だった.アンコールがないのもかなりポイントが高い.また行くかもしれない.

B1の3月くらいから入っている図書館情報学チャンネルが400回記念放送ということで某所での放送に参加した.おそらく50回ぶりに出た気がする.

知人の就職した会社が主催でBotハッカソンを開催したので,発表を見に行った.PC操作になれていると現状の対話インターフェースはまだイライラするので,なかなか難しいとずっと思っていた.そういえばBotって何で流行ったんだろう.りんなあたり?

6月の振り返り

雑感

技術的なこと

月初めにKerasの日本語訳化がほぼ完了したとのことだったので,気になった翻訳にPR投げたり,本家に追従するPR投げるとかしていました.
Keras Documentation

「語彙統一したいです」みたいなissueを立てたはいいけど,そればかりやってると時間が溶けるので,しばらく抑えめにやろうと思います.

あとは,たまにKerasを使っててバグっぽいやつがあったので細かいPR投げてました.
最初は,手の出しようもない完成されたOSSであとは深いところを理解している人たちがPRを投げるものかと思っていましたが,ライブラリを使っていると意外と見つかることがわかりました.


イベント的なものとしては,オタク機械学習勉強会に参加しました.
otakuml.connpass.com

アニメはSFっぽいやつか暗い話を1クールに1つ見る程度なので,頻繁にスライドのネタで使われる「ご注文はうさぎですか?」とかが全然わからず,オタク的な内容がさっぱりでした*1

ちょうどRNNの言語モデルを組んでみたかったので,こんな発表をしました.

SCRNはMikolovらが提案しているモデル*2です.
SCRNの構造がシンプルなので実装が数時間でできたのと,LSTMよりも学習が速いので気に入っています.

研究的なこと

能力不足であんまり進んでいないです.
7月からはなんとか...

生活的なこと

インターンが結局決まっていない.

togetter.com

雑感

研究室の掃除があり,そこそこ快適な環境になりました.
全員分の椅子がない&全員座れるスペースがないのは相変わらずですが,自由座席なので,なんとかなってる感じがします.

*1:今期はカバネリだけ

*2:今年のICLRでその発展版が出てます.

私なりのDeep Learningに関する情報の集め方

deep learning プログラミング

はじめに

aonotas.hateblo.jp

に感化され,被りがないように書いてみました.
深層学習歴(?)は半年でして,研究では使ってないので深いことは書けませんが...
好きなフレームワークはKeras*1です.

本題

arxivfeedlyで購読

私は以下の3つを登録して,信号待ちの時間とか適当な隙間時間で眺めています.

  • cs.AI
  • cs.CL
  • stat.ML

hotなものはそれっぽいマークが付くのでオススメです.

ベースとなっているのはこの記事です.
d.hatena.ne.jp

Kerasをwatch

Kerasに限った話ではないですが,深層学習のフレームワークリポジトリ,新手法やアルゴリズムを実装してほしい/したというようなissueやPRがとびます.
それをwatchするとそれらの存在を知ることができますし,あわよくば実装方法などもわかります.
例えばNadamとか.

github.com

Google scholar

Google scholarはキーワードが入った論文を通知するだけでなく,
特定の論文を引用した論文や特定の著者が書いた論文を引用した論文についても通知されます.

去年は分散表現に関係する論文を追っていたので,主に以下の3名

  • Tomas Mikolov
  • Yoav Goldberg
  • Omer Levy

の論文(どれか一つでも)を引用した論文のアラートを登録してました.
ただし,読む癖をつけないとメールボックスに溜まっていきます...

以上です.

*1:日本語docsもあります