Hinton, Sejnowski らによって提案された確率的に動作するニューラルネット ワークです。
ホップフィールドネットでは、ローカルミニマムに陥ると抜け出すことができな かった訳ですが、各ユニットを確率的に動作させることによって、ローカルミニ マムの問題を回避させるように工夫されたものです。
各ユニット間の結合係数は対称 , 自己結合はなし を仮定するのはホップフィールドと同じです。各ユニットの出力は 0 または 1 を取りますが、どちらになるかが決定論的に決まるのではなく 1 を出力する 確率が次のように定義されます。
T は温度 と呼ばれる定数(;SPMgt;0)で、 温度が低くなると、0 付近で傾きが急になり の極限では ホップフィールドモデルに一致します。 逆に 温度が高くなると が 1 になる確率がなだらかになります。
では によらず が 1 になるか 0 になるかは 1/2 になります。 すなわち`熱雑音が大きくなると系の不確定性が増す'ということです。
今 n 個のニューロンを考えた場合ネットワーク全体の状態 は全部で 通り存在します。
ネットワークが時刻 t で状態 (たとえば など) に なったとします。次の時刻 t+1 で別の状態 になる遷移確率は、
と表せます 。 はすべての状態についての総和の意味です。 式(37) を簡単にするために、 を縦に並べて全部で この要素の列ベクトルを作ると 行 列を要素とする行列 P ができます。すると式 (37)は
と表すことができ、P のことを状態遷移行列といいます。状態遷移行列 P が時 刻によらないものならば時刻 t+1 における確率分布 は によっ て完全に記述できます。このような確率過程をマルコフ Markov 連鎖といいます 。
ネットワークの状態が p=Pp のように時刻によらない形になっている場合、 定常状態といいます。定常状態になっている場合の の出現確率は
で与えられます。この形をした確率密度関数に従う分布を 統計物理学ではボルツマン Boltzmann 分布といいます。 は状態 に対するエネルギーで
となります。ここで c は となるように規格化するための 定数です。具体的には
です。
定常確率分布がボルツマン分布に従うことの証明このように定常状態 p の出現確率はネットワークの各状態に対して 計算されるエネルギー E によって決まり、その確率がボルツマン分布に従うこ とからこのネットワークのことをボルツマンマシンといいます。
i 番目のニューロンの値を とし、次の時刻でのこのニューロンの出力を とします。確率的に定常な状態ならば、が成立します。一回に一つのニューロンしか変化しないので他のニューロンは無 視します。 がボルツマン分布に従うと仮定したときに式 (42)が成立することを証明します。 次の時刻で 1 を出力する確率は、
となります。ここで、変化前の分布がボルツマン分布に従うと仮定すると、
となるので、これをを式(43)に代入すれば が証明できました。
ただし、ネットワークのサイズ(ニューロンの数)が大きくなると定常分布を実際 に計算するのは計算量が多くて大変な作業になり、実際に計算するのはほぼ不可 能です。そこでシミュレーションの出番になるわけです。
ボルツマンマシンにおいては、ホップフィールドモデルの持っていた 問題点-ローカルミニマムからの脱出できる可能性を持っています。 温度 T が大きければ、ローカルミニマムから脱出する確率が増します。 ところが、
のようにすることで、最小値に達することが Geman によって証明されています。 Gemanらの論文は、画像処理にランダムマルコフ場を導入した画期的なもので ボルツマンマシンの応用例と見なすことができます。
ボルツマンマシンの学習アルゴリズム
次のような入力層、中間層、出力層が全結合したネットワークを考えます。
簡単にまとめるとボルツマンマシンの学習アルゴリズムは以下のようになります。
その他にも、ネットワークの一部が壊れても自発的に回復する機能などが実現で きることが指摘されています。