相互結合のニューラルネットワーク
--Necker の立方体--

イントロダクション

相互結合型のネットワークとはユニットが互いに結合しているネットワークです。 各ユニットの活性値は時間とともに変化し、さまざまな状態を遷移します。 このようなネットワークの振舞いは連想記憶や巡回セールスマン問題のような最適 化問題などへの応用が試みられています。

相互結合型のネットワークの単純な例として、 図2ではルーメルハートらRumelhart1986-14が 例示したネッカーの立方体 (Necker cube) の例を示しました(Necker.c)。

図 2: ネッカーの立方体のニューラルネットワークモデル。ルーメルハートら(1986)第14章より。 各ユニットが頂点を意味する 16 個のユニットで構成されている。 左右の見えの違いを頂点のラベルで表現されており、 右の 8 個のユニットと左の 8 個のユニットがそれぞれ異なる見えを表している。 正の結合を矢印( $\leftrightarrow$)で、負の結合を(T)で表されている。 一致した見えの間では興奮性の、矛盾する見えの間は抑制性の結合で ニューロンが相互に結合されている。 対応するラベル間と対応する位置間では抑制性の結合が組み込まれている。 図ではすべての結合が描かれているわけではない。

それぞれのユニットの動作方程式に一定の期間興奮することができない不応期の考 え方などを導入すれば、左右の見えが突然反転するような動作をさせることも可能 です(Necker-alt.c)。

同期更新と非同期更新

相互結合型のネットワークの更新方法として、同期的更新と非同期的更新の２種類 があります。後に取り上げるホップフィールドのモデルは非同期更新であり、アソ シアトロンは同期更新が用いられます。離散的時間変化( $t=0,1,2,\ldots$)を考え て話を進めると、同期的更新とは時刻 $t$ から 時刻 $t+1$ へ移るとき全ユニッ トの状態が同時に更新されることを意味し、非同期的更新とは任意の時刻では一つ のユニットの状態が変化することを意味します。

簡単な例

簡単のため図3のような 3 つのユニット $x_1$, $x_2$, $x_3$ が相 互に結合している場合を考えます。$x_1$ と $x_2$ との結合が互いに抑制性 ($-1$) であり、他は結合は興奮性($+1$)です。

図 3: 簡単な相互結合のネットワーク

任意の $2$ つのユニット A, B を考えて、A $\rightarrow$B の結合係数の大きさ が B $\rightarrow$A と同じであるとき、結合が対象であるといいます。対象結合 でないユニットの組が一つでもあれば非対称結合のネットワークといいます。図 3の結合係数は

$$\mb{W}=\Brc{\begin{array}{rrr} 0 & -1 & 1\\ -1 & 0 & 1\\ 1 & 1 & 0 \end{array}},$$ (1)

のように行列表現が可能です。 $\mb{W}$ の $i$ 行 $j$ 列目の要素 $w_{ij}$ は $j$ 番目のユニットから $i$ 番目のユニットへの 結合強度です。 時刻 $t$ における $3$ つのユニットの状態を $\left(x_1(t), x_2(t), x_3(t)\right)^T=\mb{x}(t)$ とすれば 時刻 $t+1$ における各ユニットの状態は $\mb{x}(t+1)=\mb{Wx}(t)$ と表現できます。 この行列表現では、各行に入力を受ける側、 各列に出力する側のユニットが示されています。 一番上の行の $0,-1,1$ は それぞれ $x1$ 自身からの $x1$ への結合強度、 $x2$ から $x1$ への結合強度、 $x3$ から $x1$ への結合強度を示しています。 対象結合であれば $w_{ij}=w_{ji}$ が成り立ちます。 $\mb{W}$ の対格要素がゼロ $w_{ii}=0$ である ことは自己結合が無いことを表しています。

ユニットは 0 か $1$ の $2$ 状態を取るマッカロック・ピッツの形式ニューロ ンとします。このとき、ネットワークの状態は表1のとおり全部で 8 とおり存在します。

表 1: 図3の全状態

	状態
$x_1$	0	0	0	0	1	1	1	1
$x_2$	0	0	1	1	0	0	1	1
$x_3$	0	1	0	1	0	1	0	1

各ユニットの状態が 0, $1$ のような離散量で、かつ離散時間で表現された相互 結合型のネットワークは、一般的な計算機モデルであるセルオートマトン (cellular automata) と類似の構造を持っていることが指摘できます。

同期的更新

図3で、同期的更新の場合には、(1)式に図 1の行列を右から掛ければ得ることができます。仮にしきい値が $0.1$ だとすれば結果は以下のようになります。

表 2: 図3のネットワークの同期的更新。(しきい値を 0.1 にし た場合)

時刻	素子	状態
	$x_1$	0	0	0	0	1	1	1	1
t	$x_2$	0	0	1	1	0	0	1	1
	$x_3$	0	1	0	1	0	1	0	1
	$x_1$	0	1	0	0	0	1	0	1
t+1	$x_2$	0	1	0	1	0	0	0	1
	$x_3$	0	0	1	1	1	1	1	1

ユニットの状態を $(x_1,x_2,x_3)$ と表記し、すべての状態変化を矢印で 表した状態遷移図を図4に示しました。

図 4: 図3で同期的更新の場合の状態遷移図

図4中の$(000)$,$(011)$,$(101)$ はこの状態から動かない ので不動点、または固定点(fixed point) ということもあります。状態 $(001)$ と状態 $(110)$ との間では循環することを意味し、このような状態をリミットサ イクル (limit cycle) といいます。これらの状態は、一旦この状態になると他の 状態を取ることができなくなるので、安定であるといいます。また、$(010)$, $(100)$, $(111)$ は状態 $(001)$ へ引き込まれるといい、これらの状態はリミッ トサイクルへの引き込み領域または流域 (basin) であるといいます。また、引き 込まれる点 (または状態) をアトラクタ(attractor) といいます。アトラクタには 固定点、リミットサイクルの他に、複雑な挙動を示すカオスアトラクタと呼ばれる ものも存在します。

非同期的更新

図3でしきい値を $-0.1$ に設定した場合の非同期的更新の状態遷移 図を図5に示します。非同期更新では $1$ 度に $1$ つの素 子しか変化しないため、矢印で繋がっている状態間では 0 個または $1$ 個の素 子だけが変化していることが分かります。図4と比較して大 きな特徴は、全ての状態が矢印で結ばれていることと、矢印が右から左へと繋がっ ていることです。

図 5: 図3で非同期的更新の場合の状態遷移図

このことから、どのような状態から出発しても、元の状態に留まるか、もしくは右 側の状態へと遷移することがわかります。一旦より右側の状態へと遷移すると左側 へと戻ることはありません。これは、あたかも地形図のように左側の状態は高く、 右側は最も低いかのごとくであり、すべての状態は、最も低い状態$(111)$ へ向かっ て転がり落ちていくかのようなアナロジーを用いることができます。後にホップフィー ルドモデルでエネルギー関数を導入する際に、この類推が正しいことを示すことに します。

$(000)$, $(110)$ のような状態は、初期値が $(000)$ または $(110)$ でない限 りこれら状態へ遷移することがないという意味で``エデンの園''と呼ばれることが あります。

連想記憶としての相互結合型ネットワーク

相互結合型のネットワークを記憶装置と見た場合、自己想起型、連想記憶型の２種 類に分類することがあります。自己想起型のネットワークとは、予めネットワーク に記憶させたパターンの一部を入力し、記憶させたパターンを復元することで実現 されます。心理学的には、曖昧な情報から記憶を検索するという意味での記憶検索 のモデルとして有効でしょう。一方、連想記憶型とは手がかり刺激を入力し、手が かり刺激と対になって記憶されている目標刺激を取り出すようなニューラルネットワークです。連想記 憶型のニューラルネットワークは対連合学習のような記憶課題のモデルとなります。ただし自己想起型、 連想記憶型いずれの場合でも、ニューラルネットワークモデルでは同じ構造が用いられます。例えば $4$ ユニットからなるネットワークに $(1,1,1,1)$ のようなパタンが記憶されて いる場合、$(1,1,0,0)$ を与えて $(1,1,1,1)$ を想起させると考えれば自己想起 型ですが、４つのユニットを前後半２つに分けて考え、前半の$(1,1)$ を手がかり 刺激(キー刺激、あるいはキーベクトル)、後半部分を想起すべき内容(目標刺激、 データベクトル)と考えれば対連合学習のモデルとなります。

文献目録

Rumelhart, Smolensky, McClleland & HintonRumelhart et al.1986

Rumelhart, D. E., Smolensky, P., McClleland, J. L. & Hinton, G. E. (1986).
Schemata and sequential thought processes in pdp models.
In J. L. McClelland, D. E. Rumelhart & T. P. R. Group (Eds.), Parallel Distributed Porcessing: Explorations in the Microstructures of Cognition, Volume 2 chapter 14, (pp. 7-57). Cambridge, MA: MIT Press.