リカレントニューラルネットワークモデル (Recurrent Neural Networks, 以下 RNN) は 系列情報処理 (serial information processings) を扱うニューラルネットワークモデル です。観察された証拠から次に生じる事象を予想することは,生物の生存にとって意味ある情報処理であると考えます。その適用範囲を思いつくままに考えてみると以下のような事柄が含まれるでしょう。
- 生物の生存戦略
- 制御,予測。天気予報,ロケットなどの弾道制御
- データ処理
- 未来予想,SF 的,心理学的,哲学的,歴史的意味あいも含めて。身近な例では占いや経済予測も含まれます
神経心理学モデルへの適用例では初期の読みのモデルから用いられて来ました。 1980年代のトライアングルモデル(Seidenberg and McClelland, 1989; Plaut et. al, 1996) や系列位置効果を検討する際,用いられます。
一方,機械学習,ディープラーニングの分野では,系列情報処理の中の 言語モデル (Language models) として頻用されています。 昨今の 自然言語処理 (Natural Language Processings, 以下 NLP) では 機械翻訳 や種々の処理に採用されてきました。2014 年以降の話題として 注意 (attention) を言語モデルに取り込んで精度向上を目指す動向が活発です。 注意 と 言語 とはどちらも神経心理学分野でも注目すべき話題でしょう。RNN の応用可能性は神経心理学にとって一考の価値があるモデルと言えます。
2018 年,複数の言語課題で人間の成績を凌駕する自然言語処理モデルが提案されました。このことから自然言語処理モデルを神経心理学に応用する機運は熟していると考えます。
デモ#
# for recurrent neural networks cd ~/study/2018karapthy_recurrentjs.git open character_demo.html
実習#
ここでは,実習として簡単な言語モデルと SLTA にもある計算課題で RNN のデモを行います。
蘊蓄#
RNN については以下の蘊蓄を御覧ください。
- 付録: RNN についての蘊蓄
- 付録: NLP についての蘊蓄
- https://drive.google.com/open?id=1vY4jcHe2JfqGICdwwDAI0gM2KJt8dFTL
- 勾配消失問題 vanishing gradient と 勾配爆発問題 exploding gradient problems
リカレントニューラルネットワークの成果#
- 手書き文字認識 Graves(2009)
- 音声認識 Graves (2013), Grave and Jaitly (2014)
- 手書き文字生成 Graves (2013)
- 系列学習 Sutskever (2014)
- 機械翻訳 Bahdanau (2014)
- 機械翻訳 Luong (2015)
- 画像脚注付け Vinyals et. al(2014)
- 注意つき画像脚注生成
- 構文解析 Vinayals et. al., (2014)
- プログラムコード生成 Zaremba (2015)
- 対話生成 Vinyals (2014)
- ニューラルチューリングマシン NTM Graves et. al, (2014)
- 世界モデル Ha and Schmithuber (2018)2
その他の系列処理モデル#
系列情報処理の文脈では,他の系列処理技術との比較を考えることができます。