ニューラルネットの基本

浅川伸一

人間の感情と、他の生物のそれと、近代的な型の自動機械の反応との間に鋭い乗 り越えられない区画線を引く心理学者は、私が私自身の主張に慎重でなければな らないのと同様に、私の説を否定するのに慎重でなければならない

-- N. Wiener, The Human Use of Human Beings(人間機械論, みすず書房, p.73) --

はじめに

サール Searle の論文「心・脳・プログラム」[SearleSearle1980]を読んで自分が 「強い」AI (人工知能)支持者か「弱い」AI 支持者か自分の立場を表明してくださ い。ただし宗教的，または神秘主義的な思想を持ち出さないでください．

「強い」AI にせよ「弱い」AI にせよ、このような論争が起こること自体コンピュー ターと人間の知的活動との境界が曖昧であることを意味していると思います。この 授業では、この境界付近を垣間見る知的冒険になれば良いと思っています。

この授業ではものごとを極端に単純化して捉えることから始めます。この単純化に 不満を覚える人もいることでしょう。ですが、真実は単純さと複雑さの狭間にある ことなのです。現在あらゆる心理学理論は現実の人間のモデルとしては単純すぎま す。逆に言えば人間の行為・活動は非常に複雑なのです。この複雑な現象はそのま までは捉えることができないため、ある程度の単純化が必要になります。この単純 化のことをモデルと言うわけです。モデルが妥当性を持つためには現実に則してい て、扱っている現象を説明できる必要があるのですが、心理学では現象が複雑すぎ るため、現在どのようなモデルを用いた説明でも単純すぎるのです。

興味があればペンローズの「皇帝の新しい心」[PenrosePenrose1989]の第 1 章を読 んで自分の考えをまとめてください。これは強制ではありません。

神経回路網モデルとは何か?

神経回路網モデルとは、脳の振る舞いを模倣するための表現のことである。必ずし もプログラムによって表現されている必要は無いが、数式を使って表現される場合 が多い。モデルニューラルネットワーク(neural network)、PDP(parallel distributed processing)モデル、あるいはコネクショニストモデル (connectionist) と呼ばれることもある。論文などのタイトルに上記のいずれかの 言葉を入れるとき、心理学者は PDP モデルやコネクショニストモデルを、心理学 以外の分野の人達は別の言葉を使う傾向がある。ここでは、神経回路網モデルを、 生体の中枢系で行なわれている情報処理の機能、性能、および特性を記述するため の抽象化された表現、と定義しておく。

簡単な歴史

1943年

McCulloch and Pitts の形式ニューロン

1949年

Hebb の学習則

1962年

Rosenblatt パーセプトロン

1969年

Minskey & Papaer パーセプトロン, Marr と Albus(1971) 小脳パーセプトロン説, 中野 アソシアトロン

1972年

Kohonen 連想記憶モデル, Anderson 連想記憶モデル

1970年代

甘利らによる数理解析

1975年

福島 コグニトロン

1980年

福島 ネオコグニトロン

1982年

Hopfield

1983年

Farmann & Hinton ボルツマンマシン

1985年

Hopfield & Tank 巡回セールスマン問題

1986年

Rumelhart & Hinton バックプロパゲーション, Sejnowski & Rosenberg NETTalk

神経細胞 neuron

脳は $10^{10}$ 個以上の神経単位(ニューロン neuron)から成り立っている。 このニューロンが脳の情報処理における基本単位である。 複数のニューロンが結合してニューラルネットワークが形成されている。

個々のニューロンは、単純な処理しか行なわないが、脳はこのニューロンが相互 に結合された並列処理システムであると捕えることができる。

神経回路網を構成しているのはこのニューロンで、

1. 細胞体
2. 樹状突起
3. 軸索

とよばれる部分からなる。 樹状突起はアンテナ(入力)、軸索は送電線(出力)と考えれば分かりやすい。

ニューロンの内部と外部とでは $Na^+$ , $K^+$ イオンなどの働きにより電位差がある。 通常、内部電位は外部よりも低い。外部を 0 としたときの内部の電位を 膜電位 という。入力信号が無いときの膜電位を静止膜電位 とって 約 $-70 mV$ ぐらいである。

情報は樹状突起から電気信号の形でニューロンに伝達され、すべての樹状突起か らの電気信号が加え合わされる。樹状突起からやってくる外部電気信号の影響で 膜電位が $-55mV$ を越えると約 1 msec の間膜電位が急激に高くなる。 このことをニューロンが興奮した(あるいは発火した)という。

ニューロンは膜電位が $-55mV$ より高くなればの興奮し、そうでなければ興奮 しない。この意味で $-55mV$ 付近を閾値という。

一旦興奮したニューロンはしばらくは興奮することができない(不応期)。

図 1: 膜電位の変化, 甘利 1978 より

Hodgkin, Huxley 方程式 (Hodgkin and Huxley, 1952) は以上のようなニューロンの振る舞いを記述する方程式。

ニューロンの興奮(1 msec だけなのでパルス puls と呼ぶことがある)は軸索を とおって他のニューロンに伝達される。 軸索を通る興奮の伝達速度は 100 m/s くらいである。

ニューロンからニューロンへ情報が伝達される部分をシナプス synapse と呼ぶ。 興奮がシナプスに到達するたびにある種の化学物質を放出する。 この化学物質は受けて側の膜電位をわずかに変化させる。

化学物質の種類によって、膜電位を高めるように作用する場合(興奮性の シナプス 結合)と逆に低めるように作用する場合(抑制性のシナプス結合) とがある。

送り手のシナプスの興奮が興奮的に働くか抑制的に働くかは、送り手の側の細胞 の種類によって異なることが知られている(Dale の法則)。

シナプスに興奮が到達すると 0.3 msec 程度の時間遅れの後シナプス結合部の膜 電位がわずかに変化する。１つのシナプスが生成する膜電位の変化は 0.1 mV か ら 30 mV ぐらいのものまで様々なシナプス結合が存在する。

一つのニューロンには多いもので数万個のシナプス結合が存在する。多数の軸索 にシナプス結合を通して興奮(あるいは抑制)が伝えられると細胞体を伝わる途中 で重なり合う。すべての膜電位の変化の総和によってニューロンの膜電位の変化 が決定される。すべてのシナプス結合の和のことを空間加算という。ある シナプスによって膜電位が変化し、その変化が減衰する前に次の興奮が伝達され れば、まだ残っている直前の電位変化に加え合わされて膜電位の変化が起きる。 このことを時間加算という。

樹状突起を介したニューロン間の結合の強さは、 しばしば変化することが知られている(学習)。

心理学との関連で言えば、

1. シナプス結合の強度変化 = 長期記憶
2. ニューロンの活動が保持されている状態 = 短期記憶

数理モデル

一つのニューロンの振る舞いは、 n 個のニューロンから入力を受け取って演算する情報処理素子である。 入力信号を $x_1, x_2, \cdots, x_n$ とする。 このニューロンの膜電位の変化を $u$, しきい値を $h$, 出力信号を $z$ とする。 $i$ 番目の軸索に信号が与えられたとき、この信号 1 単位によって変化する 膜電位の量をシナプス荷重(または結合荷重) といい $w_i$ と表記する。 抑制性のシナプス結合については $w_i < 0$, 興奮性の結合については $w_i > 0$ となる。

図 2: ニューロンの模式図, 合原(1988)

MaCulloch & Pitts の形式ニューロン

信号入力の荷重和

$$u = \sum_{i=1}^nw_ix_i$$

に対して、出力 $z$ は $u$ がしきい値 $h$ を越えたときに $1$, そうでなければ 0 を出力するモデル

図 3: 形式ニューロン, 甘利(1978)

$$z = \left\{ \begin{array}{ll} 1, & \mbox{if $u > 0$} \\ 0, & \mbox{otherwise} \end{array}\right.$$ (1)

とすれば McCulloch & Pitts のモデルは

$$z = 1\Brc{\sum_{i=1}^nw_ix_i -h}$$ (2)

このモデルは、単一ニューロンのモデルとしてではなく、ひとまとまりの ニューロン群の動作を示すモデルとしても用いることができる。

McCulloch & Pitts モデルに不応期の情報を組み込む

不応期が時間 $r$ だけ存在するとすれば、

$$z = \left\{ \begin{array}{ll} 1, & \mbox{if $u > 0$, and 過... ...でなかったとき} \\ 0, & \mbox{otherwise} \end{array}\right.$$ (3)

さらに、ニューロンが興奮すると時間 $s$ だけしきい値が $b_s$ だけ上がって 興奮しにくくなると仮定すると

$$z(t) = 1\BRc{\sum w_ix_i(t)-h-\sum_{s=1}^Tb_s(t-s)}$$ (4)

ここで $x_i(t)$ は時間 $t$ での入力、$z(t)$ は時間 $t$ での出力である。

出力が連続関数の場合

時間 $t$ における入力信号は $x_i(t)$ は $i$ 番目のシナプスの 興奮伝達の時間 $t$ 付近での平均ととらえることができる。 すると、最高頻度の出力を 1, 最低(興奮無し)を 0 と規格化できると考えて

$$0\le f(\mu) \le1$$

とする。入出力関係は $f$ を用いて

$$z = f\Brc{\sum w_ix_i(t)-h}$$ (5)

のように表現される。 このモデルは、ニューロン集団の平均活動率ととらえることもできる。

良く用いられる $f$ の形としては、

$$f(\mu) = \frac{1}{1+e^{-\mu}}$$ (6)

や

$$f(\mu) = \frac{1}{2}\tanh \mu -1$$ (7)

ただし $\mu = \sum w_ix_i -h$. などが使われることが多い。 どちらを用いるかはほとんど使う人の趣味。 どちらの関数も微分が極端に簡単になるという理由が大きい。

連続時間モデル

時間 $t$ を連続だとみなし、 $\mu(t)$ を静止膜電位 のとき 0 をとるものと考える。 電位 $\mu(t)$ は時定数 $\tau$ で減衰する項と外部入力に応じて増減する項との 和で表せるとするモデルは、以下のような微分方程式になる。

$$\tau\frac{d\mu(t)}{dt} = -\mu(t) + \sum_{i=1}^{n}w_ix_i - h$$ (8)

$x_i$ は一定(外部入力は一定)で $\mu(0) = 0$ の初期条件のもとで 解くと、

$$\mu(t) = -\mu_0\Brc{1-e^{-t/\tau}}$$ (9)

となる。ただし $\mu_0=\sum w_ix_i - h$.

ニューラルネットワークの分類

学習方式による分類

1. 教師あり学習(パーセプトロン、バックプロバゲーションなど)
2. 教師なし、自己組織化、特徴マップ

結合方式による分類

1. 階層型
2. 相互結合型

さらに、フィードバックあり・なしの区別。 連想記憶については、相互想起型、自己想起型の区別などがある。

図 4: 幾つかのネットワークの分類, 麻生(1989)

何ができるか

さまざまな分野に応用されていますが、敢えてあげるとすれば…

• 連想記憶 associative memory
• パターン分類 pattern classification
• 規則性の検出 regularity detection
• 画像処理 image processing
• 発話分析 speech analysis
• 最適化問題 optimization problems
• ロボット制御・操作 robot steering
• 洗濯機、掃除機
• ...

文献目録

Penrose1989

Penrose, R. (1989).
The Emperor's New Mind.
Oxford University Press.
/ロジャー・ペンローズ著、林一訳「皇帝の新しい心 --コンピュータ・心・物理法則--」みすず書房．1994.

Searle1980

Searle, J. R. (1980).
Minds, brains, and programs.
In D. R. Hofstadter & D. C. Dennett (Eds.), The Mind's I --Fantasies and Relections on Self and Soul chapter 22. Basic Books.
/サール「心・脳・プログラム」. ホフスタッター,デネット編著．坂本百大監訳．「マインズ・アイ(下) --コンピュータ時代の心と私--」．第 22 章 p. 178-210. TBS ブリタニカ．1992.