RNN camp プロジェクトページ

第2回

RNN Camp 概要

深層学習の中でもリカレントニューラルネットワークモデルについてお話しします。このモデルは言語モデル，音声認識，機械翻訳，対話，質疑応答，画像脚注付け，物語理解，物語生成，プログラミングコード自動生成，などの応用が盛んです。これらに共通する技術的基礎を解説し，加えて Python 実装をご紹介します。
２回目となる今回は最近の話題の中心，これを知らないとリカレントニューラルネットワークは語れないほどメジャーになった LSTM と GRU 双方向RNN を中心にお話します。さらに，RNN の多層化と正則化を取り上げます。第一回で話題にした黒魔法の数々を駆使して実用的な性能を出すための工夫が中心になります。第一回よりも高度な話題になります。このため今回は３時間を予定しています。
LSTM については colah さんのブログ(http://colah.github.io/posts/2015-08-Understanding-LSTMs/) の解説は定評があります。
質問，コメント，要望，リクエストなどは[連絡用メールアドレス] rnncamp.jp@gmail.com へお願い致します。

対象者

プログラミングの知識のある方を前提といたします。実習では Python, C++ のコードを示しながらお話します。数学の知識は必須ではありませんが，数式は出てきます。以下のような方にお薦めです。

時系列情報処理（ログ解析，文章理解，文章生成，リコメンド）に興味のある方
深層学習(ディープラーニング)のもう一つの潮流，リカレントニューラルネットワークを知りたい方
静止画，画像認識では物足りないエンジニアの方
定型的な bot 以上の対話システムを考えるプログラム（対話生成）に関心のある方
画像情報と言語情報の融合を機械学習したい方

タイムスケジュール

19:00 - 19:10 オープニングリマーク
19:00 - 19:20 前回の復習
19:20 - 20:00 LSTM , GRU, BiRNN
20:00 - 20:30 ハンズオン
20:30 - 20:40 結果発表，質疑応答
20:40 - 20:45 休憩
20:45 - 21:15 勾配クリップ，勾配正則化，ザレンバドロップアウト，ベイズ正則化
21:15 - 21:45 ハンズオン
21:45 - 21:55 結果発表，質疑応答
21:55 - 22:00 クロージングリマーク

RNN camp のスケジュール

第1回 SRN, BPTT, 確率的勾配降下法(2016年7月20日終了)
第2回 LSTM, GRU, BiRNN, 最適化，正規化，勾配消失／爆発問題(2016年9月7日今回)
第3回 NIC, text2image, 注意モデル，1ショット／0ショット学習，画像チューリングチャレンジ(9月または10月)
第4回 QA システム, 画像QA システム, ニューラルチューリングマシン, ニューラルGPU, メモリーネットワーク(10月または11月)

講師のプロフィール

浅川伸一（博士）東京女子大学情報処理センター勤務。早稲田大学在学時はピアジェの発生論敵認識論に心酔する。卒業後エルマンネットの考案者ジェフ・エルマンに師事，薫陶を受ける。以来人間の高次認知機能をシミュレートすることを目指している。知的情報処理機械を作ることを通して知的情報処理とは何かを考えたいと思っている。著書に Python で実践する深層学習（2016) コロナ社. ディープラーニング，ビッグデータ，機械学習---あるいはその心理学 (2015) 新曜社。「ニューラルネットワークの数理的基礎」「脳損傷とニューラルネットワークモデル，神経心理学への適用例」いずれも守一雄他編コネクショニストモデルと心理学 (2001) 北大路書房などがある。

主な受賞歴

人工知能学会2015年度研究会優秀賞 SIG-LSE:ことば工学研究会第49回研究会 2015年9月25日「ニューラルネットワーク物語生成モデル」単著

下準備

ノートPCを持参されることをお勧め致します。ですが，会場に電源供給用のアウトレットは人数分確保できないと思われますので充電した状態でお越しください。ソースコード閲覧のために手慣れたテキストエディタ，または統合環境をご用意ください。 gcc, g++, python (今回は TensorFlow を予定) の処理系はインストールしてあった方が話が早いです。無くても構いません。

注意事項

名刺を1枚ご用意ください。　学生さんなど名刺を持っていない方は必要はありません。
compassのページに記載されたご本人様のみ参加することができます。代理での出席やご本人様以外の方がお越しになられた場合、ご入場することが出来ません。
compassのページをお忘れになられた場合、本人確認ができるものの提示を求める場合がございます。なお、本人確認ができるものをご提示いただけない場合、ご入場をお断りする場合があります。
参加者のみなさまで残念ながら、イベントに参加できなくなった場合は、お手数ですが早目の「キャンセル」をお願いいたします。
補欠者のみなさまは補欠から参加へ繰り上がるかもしれません。繰り上がりメッセージの有無や、イベントの確認をお願いします。

当日のライブ配信はこちら

https://youtu.be/ZmVge4LGsBI

文献情報


@article{1997LSTM,

title={Long Short-Term Memory},

author={Sepp Hochreiter and J\"{u}rgen Schmidhuber},

journal={Neural Computation},

volume={9},

pages={1735--1780},

year={1997}

}



@article{2000Gers,

title={Learning to Forget: Continual Prediction with {LSTM}},

author={Felix A. Gers and J\"{u}rgen Schmidhuber and Fred Cummins},

year={2000},

journal={Neural Computation},

volume={12},

pages={2451--2471}

}



@article{2014Cho_GRU_SSST,

year={2014},

title={On the Properties of Neural Machine Translation: Encoder–Decoder Approaches},

author={Kyunghyun Cho and Bart van Merri\"{e}nboer and Dzmitry Bahdanau and Yoshua Bengio},

journal={ar{X}iv:1409.1259},

archivePrefix={arXiv},

eprint={1409.1259},

primaryClass={cs.CL},

}



@article{2014Chung_GRU_NIPS,

year={2014},

title={Empirical Evaluation of Gated Recurrent Neural Networks on Sequence  Modeling},

author={Junyoung Chung and Caglar Gulcehre and KyungHyun Cho and Yoshua Bengio},

journal={ar{X}iv:1412.3555},

archivePrefix={arXiv},

eprint={1412.3555},

primaryClass={cs.NE},

}