Hebb の学習則

Hebb の原文では以下のような記述です。

When an axon of cell A is near enough to excite cell B and repeatedly or consistently takes part in firing it, some growth process or metabolic changes takes place in one or both cells such that A's efficiency, as one of the cell B, is increased.

--Hebb,D.O.,(1949), The Organization of Behavior--

すなわち、「同時に発火したニューロン間のシナプス結合は強められる」 ことを主張しているのが Hebb 則ということになります。 ニューロンの発火状態を 1, 0 で表現することにして、 ニューロン から ニューロン へのシナプス結合強度を すると、

 

となります。ここで は学習定数といます。 表 1 はこのことを表現したものです。

  
Table 1:

このシナプス変化の式(3)をベクトル表現すると

となります。すわなち結合荷重ベクトルは、入力ニューロンと出力ニューロンの 発火頻度に比例して、入力ニューロンベクトル x の方向に引き寄せられるこ とを意味します。 従って次回(時間 t+1)に同じ入力 x がこのネットワークに与えられたとき の出力は、

となります。この式の第 2 項は必ず正になるので、ある時刻 t における 入力 x が y を発火させたとき、次回 t+1 に同じ入力が与えられると より強く発火させる効果を持つことになります。逆に言えば 同じ刺激を入力し続けると が限りなく大きな値になってしまう ことも意味します。

Hebb 則の変形はさまざまに考えられています。

を一定する方法:

w の更新式は、

この方法では |w|=1 の超球上にとどまっていることになる。 入力ベクトルの方向余弦に一致。

減衰項を加える方法:

w の更新式は、

この方式は発火しないニューロンにつながっているシナプス結合強度は 徐々に減衰し、発火しなくなる。

同時に発火しないニューロンは抑制する方法:

2 つのニューロンが 同時に発火しないときにシナプス結合強度を弱めるようにするならば

に従って学習を進める。

入力と出力の差(の 2乗)を利用する方法:

出力 も 入力 も (0,1) 連続値に拡張し 二つのニューロンの信号強度の差(の2乗) の大きさにしたがって学習を進める (Widrow and Hoff(1960) の ADALINE)。

なおこれらの変形は自由研究のネタとしても使えます。 それぞれの学習則に従って学習させた場合どうなるか…