浅川伸一
視覚野のトポグラフィックマッピングについては、さらに細かいことが分ってい て任意の視覚位置に対して、眼優位性 ocular dominancy, 方位選択性 orientation selectivity, 色 などの情報が処理されるように規則正しく配列さ れています。ハイパーコラム hypercolumn 構造といいます。 ハイパーコラムは、2 次元しかない皮質上に、2次元の網膜位置、 方位、視差情報(立体視)、色情報処理などの多次元情報をなるべく効率よく 処理しようとする生体情報処理の機構を表していると言えます。
このような構造は、 大まかな構造は遺伝子によって決定されますが、 細かい構造については神経回路の 自己組織化 self organization によって達成されると考えられています。 このような例は枚挙に暇がありません1。 一例として Linsker の行なったシミュレーションを紹介します。 Linsker は図2 のような数層の細胞で構成されるモデルを考え ました。各細胞層では、多数の細胞が 2 次元的に広がっています。 B 層の各細胞は A 層の細胞から入力を受けます。たとえば、 A 層の円で囲まれた領域にある細胞 100 個がそれぞれ B 層の 一個の細胞に結合しています。同様にして、B 層から C 層、C 層から D 層 へと続く結合も同様です。
結合強度の変化は Hebb の学習則の変形(表 1)で 入力と出力ともに活動度が高い場合には結合を強める他に、 両方ともの活動が低ければ結合の強さを弱めるような学習です。
入力は A 層から入りますが、A 層においてはランダムで相関がない活動が自発 的に起きていると想定しました。その結果、次のようなことが起きました。A か ら B への結合では、結合の強さは正の大きな値になるか、負の大きな値になる かのどちらかでした。結合が正の興奮性になった場合にどういうことが起きたの でしょうか? そのとき細胞が観察しているのは、細胞層 A のある領域の入力の 平均です。B 層では、隣り合う細胞が受け取る A 層の細胞の範囲は重なりあっ ています。したがって、この二つの細胞は A 層におけるパターンの似た部分を 見ており、ある時刻に一方の細胞の活動度が高ければ、もう一方の細胞の活動度 も高い可能性がたかいです。つまり、B 層において、近くに位置する 2 つの細 胞の活動度の間には相関が生じています。
次に B 層から C 層への結合の変化が図3 に示されています。
図3 では C 層の一つの細胞を取り上げ、そこからB 層 をながめています。つまり C 層の一つの細胞へ入力する B 層の細胞を見ている わけです。シミュレーション開始時(t=0)にはすべての結合はランダムですが、 時間が経過するにつれて中央に点が見えてきます(興奮性の領域)。周辺には 抑制性の領域が現れます。 ランダムな結合と Hebb 則だけを使って、 on 中心型細胞が生じることが 示されたことになります。さらに先の層には方位選択性の細胞が現れます。
Linsker の提案したネットワークを追試するのは、非常に簡単なプログラムで可 能です。にもかかわらず、第一次視覚野で の細胞の特徴をよくとらえた優れたデモンストレーションと言えます。
自己組織化の特徴を抽象化してとらえれば、多次元刺激をその刺激の持つ規則性に 従って 2 次元の皮質上への対応問題ととらえることができるます。 入力層の空間多次元多様体から 2 次元部分空間への写像といいます。 このような立場から、統計学の用語を用いて説明を試みます。
パーセプトロンとの関係では、 個の入力層ニューロンから、 個の出力層ニューロンへ の結合を考える。 入力パターンが 個あるとする。 このとき、入力はデータ つづつ逐次的にネットワークに与えられ その都度入力層から出力層への結合係数が修正されていくものとする。
(1) | |||
(2) |
(3) |
の制約のもとで最大の分散を与える
を考えると
(4) |
(5) |
(7) |
(8) |
(9) | |||
(10) |
(11) |
(12) |
(13) |
(14) |
このとき適当な線形結合
(15) | |||
(16) |
(17) |
(18) | |||
(19) | |||
(20) | |||
(21) |
(22) |
(23) |
(24) |
実際の計算は
(26) |
(27) |
は入力データセットで、 個のニューロンからなる入力層に与えられる 個のサンプルデータ であると考える。これらのニューロンから 個の出力層に全結合している モデルを考える。
簡単のため出力層のニューロンが 個しかない場合 ()
を考えると、
番目の入力パターンに対する出力層ニューロンの出力は以下の式、
(28) |
仮にパターン が与えられたときの 番目の入力層ニューロンから出力層への
結合係数 が式(29)のような Hebb の学習則
(30) |
(31) |
学習が成立(収束)した時点での は になる
(すなわち結合係数の更新が行なわれない)ことが期待されるので、
全入力パターンの平均を考えて
が成り立っていなければならない。
ところが は、実対称行列であり、 固有値はすべて正で固有ベクトルは直交する。 すなわち Hebb の学習則では有限回の学習によって 解が求められない(実際には最大固有値に対応する固有ベクトルの方向に際限無く大きくなっていく)3。
そこで、式(29) を修正して
(33) |
|
出力ニューロンが 個 の場合は、
(34) |
(35) |
(36) |
(37) |
(38) |
最大出力を与えるニューロンの近傍のニューロンに対しても学習が成立するよう にして、類似した特徴が類似した場所に投射されるようにしたものである。近傍 関数の例としてたとえば次のガウシアン関数を考えれば、生理的データとの一致 がとりやすい
(39) |