これらの例は、提案者の名前で Elman net, Jordan net と呼ばれることがあり ます。図では、ある層の一部が帰還信号 recurrent feedback を受け取るように なっています。このような帰還信号を受け取る素子を文脈層あるいは関連層と呼 ばれます。feedforward の処理は通常の階層型のネットワークと同様に時間に関 係なく処理されます。ところが帰還信号は時間に依存します。ある時間 t で 処理される内容は、時間 t-1 で処理された回路の状態を表す信号を同時に処 理します。すなわち、文脈層は過去の状態を記憶していることを意味します。こ の結果、ある時刻 t でのネットワークの状態は現在の入力と過去の入力履歴 の集合に依存することになります。
Elman net では、入力層は入力信号を処理する入力ユニットと、直前の時刻まで の中間層の状態を入力とする文脈ユニットとで構成されます。文脈ユニットは以 前の中間層をコピーするためだけ(すなわち中間層から文脈ユニットへの結合強 度は 1.0)です。 結合強度の学習は順方向の結合についてだけ行われるので、通常の誤差逆伝播法 がそのまま適用できます。
Elman(1990) では
のような文章の区切りを見つけることをネットワークに要求しました。 ここでの入力は文中の 1 音素で、出力は次ぎの 1 音素を予測するように訓練されました。
図からエラーは語頭で高く、語末まで減少している様子が分かります。 エラー曲線を確信度と解釈すると、単語内の次にくる音素をかなり確信を持って 予測していることが分かります。一方、入力が単語の終りに達すると次にどの語がくるか 予想できないので、結果としてノコギリ状のエラー曲線になります。 エラーの特徴については、実際観察される幼児の言葉の誤りと類似していて a boy を aboy と切り出してしまう overshooting や、they を the y とする undershooting の エラーが観察されるそうです。
Jordan net と Elman net の違いは、後の処理で利用する形式が出力層にあられ る形がよいのか、中間層の形式がよいのかという違いだと思います。
さらに attractor net と呼ばれる以下のようなネットワークもあります。
Attractor net は意味の連想などに用いられます。 この形のネットワークについては、別の機会に取り上げることにします。