リカレントニューラルネットワークモデル (Recurrent Neural Networks, 以下 RNN) は 系列情報処理 (serial information processings) を扱うニューラルネットワークモデル です。観察された証拠から次に生じる事象を予想することは,生物の生存にとって意味ある情報処理であると考えます。その適用範囲を思いつくままに考えてみると以下のような事柄が含まれるでしょう。

  1. 生物の生存戦略
  2. 制御,予測。天気予報,ロケットなどの弾道制御
  3. データ処理
  4. 未来予想,SF 的,心理学的,哲学的,歴史的意味あいも含めて。身近な例では占いや経済予測も含まれます

神経心理学モデルへの適用例では初期の読みのモデルから用いられて来ました。 1980年代のトライアングルモデル(Seidenberg and McClelland, 1989; Plaut et. al, 1996) や系列位置効果を検討する際,用いられます。

一方,機械学習,ディープラーニングの分野では,系列情報処理の中の 言語モデル (Language models) として頻用されています。 昨今の 自然言語処理 (Natural Language Processings, 以下 NLP) では 機械翻訳 や種々の処理に採用されてきました。2014 年以降の話題として 注意 (attention) を言語モデルに取り込んで精度向上を目指す動向が活発です。 注意言語 とはどちらも神経心理学分野でも注目すべき話題でしょう。RNN の応用可能性は神経心理学にとって一考の価値があるモデルと言えます。

2018 年,複数の言語課題で人間の成績を凌駕する自然言語処理モデルが提案されました。このことから自然言語処理モデルを神経心理学に応用する機運は熟していると考えます。

デモ#

# for recurrent neural networks
cd ~/study/2018karapthy_recurrentjs.git
open character_demo.html

実習#

ここでは,実習として簡単な言語モデルと SLTA にもある計算課題で RNN のデモを行います。

蘊蓄#

RNN については以下の蘊蓄を御覧ください。

リカレントニューラルネットワークの成果#

その他の系列処理モデル#

系列情報処理の文脈では,他の系列処理技術との比較を考えることができます。

参考文献#


  1. この会社の技術顧問って :) 

  2. 我々を取り巻く世界のイメージは脳内のメンタルモデルである。誰しも全ての世界,政府,国を想像できない。我々は現実世界の表象するコンセプトを選んでその関係を使うだけだ(浅川拙訳)とフォレスターは言ったそうです。