パーセプトロンモデル

上記の主成分分析を神経回路網の立場で表現します。

は入力データセットで、 p 個のニューロンからなる入力層に与えられる n 個のサンプルデータ であると考える。これらのニューロンから m 個の出力層に全結合している モデルを考える。

簡単のため出力層のニューロンが 1 個しかない場合 (m=1) を考えると、 k 番目の入力パターンに対する出力層ニューロンの出力は以下の式、

に従う、すなわち線形出力ニューロンを考える。 ここで、 は パターン k が与えられたときの i 番目の入力層ニューロン と出力層のニューロンとの結合係数である。

仮にパターン k が与えられたときの i 番目の入力層ニューロンから出力層への 結合係数 が式(29)のような Hebb の学習則

 

を用いて更新されたとすると、 の漸化式は以下のようになる

をまとめて とベクトル表現すれば

学習が成立(収束)した時点での は になる (すなわち結合係数の更新が行なわれない)ことが期待されるので、 全入力パターンの平均を考えて

 

が成り立っていなければならない。

ところが は、実対称行列であり、 固有値はすべて正で固有ベクトルは直交する。 すなわち Hebb の学習則では有限回の学習によって 解が求められない(実際には最大固有値に対応する固有ベクトルの方向に際限無く大きくなっていく)。

そこで、式(29) を修正して

のように変形すると結合係数は最大固有値の方向を向き、かつ収束することが Oja (1982) によって証明されている。 その他にも、式(25) の Young-Householder 変換のような 操作などによって、Hebb の学習則を修正する方法が提案されている。

  
Table 1: 田中 1993 より

出力ニューロンが j 個 の場合は、

を用いて更新すればよい(Sanger,1989)。 Sanger の考え方は、Gram-Schimidt の直交化をそのまま ニューラルネット上で実現したものととらえることができる。