自己組織化

自己組織化とは

広義の定義

はじめに非常に抽象化して「自己組織化」を説明すれば，「自己組織化システムとは，経験と環境の関数として基本構造が変化し，合目的的システムが自然にでき上がること」と定義することができるでしょう。例えば，人間は自己組織化システムです。だれもが一個の有精卵から次第に複雑な構造を発生させて行ったのですから。もっとも，すべての生物は自己組織化システムですし，太陽系も自己組織化システムだと言うことができます。あるいは，もっと大きく銀河系，宇宙全体は自己組織システムであると考えることができるかも知れません。

脳はシナプス結合の可塑性によって，神経細胞間の結合状態が変化する自己組織化システムです。感覚器官を通じて外界の情報を取り入れ，効果器(手や足)を通じて外界に働きかけています。この外界との相互作用が自己組織化システムのキーポイントです。閉じたシステムでは絶対に複雑なシステムは形成されません。熱力学の第 2 法則に矛盾することはどんな場合でもあり得ないからです。脳のなかのどこかに外界に対するイメージ，いわば世界像が形成され，この世界像に基づいて合目的的な思考や行動が出現できます。この開いた系における自己組織化は散逸構造とかシナジェニックスと呼ばれることもあります。

自己増殖するロボット

John von Neumann は晩年「機械は成長したり，増殖したりすることは可能か」という問題を考えました。彼によれば原理的には可能だと言うことになります。彼はロボットが周囲にある部品を集めて自分と同じものを作っていくというモデルを考えました。自分の身体と同じものができるためには，ロボットは自分の身体を調べるか，または自分自身の構造情報を持っていたければなりませんが，その情報もすべて部品からなる構造体に保持されていなければなりません。

ノイマンはまずセルラモデルで自己増殖を考えました。このモデルは無数の同じ構造をしたセル(細砲)が格子状に配列されている広い平面を考えます。彼はこの平面上に万能チューリングマシンが作り込めることができることを証明しました。万能チューリングマシンが作れたということは，各セルの状態を決めることでセル平面上に任意のコンピュータを埋めこむことができたということです。自己増殖はセル平面の別の場所に自分と同じコンピュータを作れるかという問題になります。万能製作機械が自分自身の設計図を埋めこんでコンピュータを作ることができれば良いわけです。自分の子どもの機械を作るのに用いられ，さらに設計図を複写してその機械に与えるという形で自己増殖機械を作ることができるのです。ここまで説明して来たところで気づいた人がいるかも知れませんが，われわれ生物の細砲は分裂するときに，まさに同じことを行なっているわけです。 DNA に含まれるアミノ酸の組み合わせが自己複製を行ない，複雑な生物を形成させることができます。 DNA の構造は突然変異を経てより有用なシステムになることを考えれば，生物はノイマンが考えた以上のシステム記述がなされていると見ることも可能かと思います。実際に小さなパーツをランダムに結合させることによって簡単なロボットを作るという実検も行なわれています。

生命の起原

さらに初めから始めるとすれば， 30 億年前原始地球の原始スープの中から長い年月をかけて自己複製を始めた生物の発生にさかのぼることができるでしょう。最初の生命とは簡単な自己複製機能を持った高分子タンパクだったのでしょうか。原始生命の出現に超越的な創造者の存在を仮定するべきなのでしょうか？それとも，現在の生物の持つ自己複製機能の創発を認めるべきなのでしょうか？現代生化学の研究成果は，超越的な創造者の存在を仮定しない生命発生のシナリオを描き始めているように思われるのです。この単純な自己増殖機能を持ったタンパクからやがて細砲が作られ単細胞生物へ，さらに多細胞生物へ，さらに陸上へと進出し，火を発見し，文字を発明し，知的活動を行なうよう実例が今の私たちです。生物が自身の知的活動をシミュレートするようになるまでには，多用なレベルでの自己組織化が行なわれて来たのでしょう。

問題の本質はどこにあるのか

さて，以上述べたように「自己組織化」は非常に壮大なテーマです。この問題に直接答えるのには私には荷が重すぎます。現代的な意味でのニューラルネットワークにとっても上記のような意味での「自己組織化」は実現されていません。現在のニューラルネットワークにできることは，極論すれば，外界の構造を獲得することができるという点です。もうすこし具体的にいえば，外部入力の統計的構造を内部のシナプス伝導効率の変化として表現することができる，ということです。ここから，知的な活動を創発できることの間には厖大な距離があります。ここでは自己組織化という壮大なテーマの入口，外界の情報から意味のある構造を作りだす，という点に的を絞って説明します。

外界の情報すなわちデータの相互関係を効率良く表現することは情報科学の分野でも中心的な問題であり，おそらくこのような能力が脳の働きの特徴の 1 つであるということができるでしょう。外界の構造が脳内の地図として表現されていることは以前にも述べました。網膜上の位置と第一次視覚野，内耳の周波数特性と第一次聴覚野との関係などです。大脳皮質全体のたかだか 10 % を占める第一次感覚野で起こっていることの類推から，特定のカテゴリーにおける知識表現が脳の各部位の位置関係として表現されているという可能性があるだろうと考えます。

すなわち，さまざまなレベルの情報表現の自己組織化に対して，たった 1 つの同じ機能的原理が働いているのではないか，という仮説です。第一次感覚野で表現されている情報表現と同じ機能的原理が，知的なレベル(各種の連合野、あるいは前頭葉)でも同じであると考えてはいけない理由はないはずです。

仮にこの同一の機能的原理が高次の知的活動のためにも働いているのなら，低次の感覚受容野から階層的に高次の連合野にいたるまで自己組織化によって我々の知的活動のある部分が説明可能なのかも知れません。自己組織化によって高度に抽象的な概念が階層的に重ね合わさっていた場合にどのようなことが起こるのでしょうか。第１次感覚野が物理的な特徴量を表現し，第２次感覚野が具体的な概念を表現しているとしたら，連合野は抽象的な概念を表象しているのかも知れません。連合野の連合野である前頭葉では概念の概念の概念が形成されているというのは誇張のしすぎなのでしょうか。

教師なし学習

パターン認識の立場でニューラルネットワークにおける自己組織化を捉えるのなら，教師なし学習であるということができます。この意味では教師ありの学習の場合に比べて見込のない問題にも見えます。ですが次のような理由からやはり教師なし学習も重要なのです。

環境情報(外部入力データ)は必ずしも全て教師信号が存在するわけではない
情報の自動的なクラスタリングが可能である。明確なラベル付けを持たない学習によって情報の確率的構造が自動的に表現される。
自己組織化によって外部環境の情報が効率良く圧縮されていれば，その後の情報処理が効率良く進むだろう。

トポグラフィックマッピング

外界の構造が脳内の地図として表現されていることは一般に知られた事実です。例えば，網膜と第一次視覚野の間には連続的な１対１対応が存在します。鼓膜の周波数選択特性と第一次聴覚野との間にも対応関係が見られます。同様に体表面の感覚と体制感覚野の間にも対応関係があります。すなわち感覚器官と第一次感覚野との間の神経結合は，類似した刺激に対して皮質上の同じような位置に対応する受容野を持つことが知られています。このような 2 つの神経場間の連続的な結合関係のことをトポグラフィックマッピング topographic mapping と言いいます。

**図1. V1 におけるハイパーコラム構造**

視覚野のトポグラフィックマッピングについては，さらに細かいことが分っていて任意の視覚位置に対して，眼優位性 ocular dominancy, 方位選択性 orientation selectivity, 色などの情報が処理されるように規則正しく配列されています。これをハイパーコラム hypercolumn 構造と呼びます。ハイパーコラムは、2 次元しかない皮質上に， 2次元の網膜位置，方位，視差情報(立体視)，色情報処理などの多次元情報をなるべく効率よく処理しようとする生体情報処理の機構を表していると言えるでしょう。このような構造は，大まかには遺伝子によって決定されますが，細かい構造については神経回路の自己組織化によって達成されると考えられています。

自己組織化の意味するもの

大脳皮質全体の 10 % を占める第一次感覚野で起こっていることの類推から，特定のカテゴリーにおける知識表現が脳の各部位の位置関係として表現されているという可能性があるだろうと考えます。すなわち，さまざまなレベルの情報表現の自己組織化に対して，たった 1 つの同じ機能的原理が働いているのではないか，という仮説が提起できるのです。第一次感覚野で表現されている情報表現と同じ機能的原理が，知的なレベル(各種の連合野，あるいは前頭葉) でも同じであると考えてはいけない理由はないはずです。仮に，この同一の機能的原理が高次の知的活動のためにも働いているのなら，低次の感覚受容野から，階層的に高次の連合野にいたるまで自己組織化によって我々の知的活動のある部分が説明可能なのかも知れないのです。自己組織化によって高度に抽象的な概念が階層的に重ね合わさっていた場合にどのようなことが起こるのだろうか。第１次感覚野が物理的な特徴量を表現し，第２次感覚野が具体的な概念を表現しているとしたら，連合野は抽象的な概念を表象しているのかも知れない。連合野の連合野である前頭葉では概念の概念の概念が形成されているというのは誇張のしすぎなのでしょうか。概念の概念の概念は知的な能力とみなしても良いと思います。すなわち自己組織化が多段階に重なることによって抽象度の高い知的能力が創発すると考えても良いのでしょうか。

Kohonen の SOM

Kohonen のアルゴリズムは入力データに対して最大出力を与えるニューロンの結合係数のみを変更する学習則です。出力は

$x_i=\sum_j w_{ij}x_j = \mb{w}_i\mb{x}$

(1)

と表現される。最大出力を与えるニューロンをとすれば、

$\displaystyle \mb{w}_{i^*}\mb{x}\ge\mb{w}_i \mb{x}\quad\mbox{(for all i)}$

(2)

となります。結合ベクトルの大きさが 1 に正規化されていれば

$\displaystyle \vert\mb{w}_{i^*}-\mb{x}\vert\le\vert\mb{w}_i - \mb{x}\vert\quad\mbox{(for all i)}$

(3)

と等価です。このようにして勝残ったニューロンに対して次のような近傍関数を定義します。

$\displaystyle \delta w_{ij} = \eta \Lambda(i,i^*)\Brc{x_j-w_{ij}}$

(4)

最大出力を与えるニューロンの近傍のニューロンに対しても学習が成立するようにして，類似した特徴が類似した場所に投射されるようにしたものです。近傍関数の例としてたとえば次のガウシアン関数を考えれば，生理的データとの一致がとりやすいのです。

$\displaystyle \Lambda(i,i^*) = e^{-\frac{\vert\mb{r}_i-\mb{r}_{i*}\vert^2}{2\sigma^2}}$

(5)

$\resizebox{0.7\textwidth}{!}{%% \includegraphics{som-explain.eps}}$

$\resizebox{0.7\textwidth}{!}{%% \includegraphics{som-result.eps}}$

Kohonen の SOM の実習

./vfind

Give the number of trials: 10
Give the input data file name: iris.data
Give the input test file name: iris.data
Give the output map file name: iris.codebook
Give the topology type: rect
Give the neighborhood type: gaussian
Give the x-dimension: 5
Give the y-dimension: 5
Give the training length of first part: 1000
Give the training rate of first part: 0.1
Give the radius in first part: 5
Give the training length of second part: 1000
Give the training rate of second part: 0.05
Give the radius in second part: 2

./vcal -din iris.data -cin iris.codebook -cout iris.output
./umat -cin iris.output -ps -paper A4 -o iris_output.ps
display iris_output.ps

意味の抽出

ランダウアー(Landauer)とデュマス(Dumais)1997 は，百科事典のすべての文章における単語の見出し語項目との間の共起関係に特異値分解を適用し，数百個の次元からなるベクトル表現を構成しました。このベクトル表現によって単語間の類似度を定義し，TOEFL の類義語問題に結果を適用することで人間の受験者に近い正答率が得られることを示しています。彼らによればベクトルの次元数を 300 としたとき一致率が最大になるということです。このことから人間の意味処理として 300 次元程度の意味空間を用いることでコンピュータに人間に近い振る舞いをさせることができるという結果が得られたことになるといいます。このことは従来曖昧な定義であった意味に対して計量的なアプローチが可能であることを示していて興味深いです。

自己組織化アルゴリズム

ランダウアーとデュマスの使った特異値分解とは，固有値問題と関連が深いです。固有値問題は、多次元の情報を情報の損失を最小にしながら低次元の情報に変換する情報圧縮のために使われたりもします。従って与えられたデータの固有値問題の解を自己組織的に学習して解くアルゴリズムがあれば，ランダウアーとデュマスたちの示した結果を再現できることになります。固有値問題を解く自己組織化には，ヘッブ(Hebb)の学習則，およびヘッブの学習則を拡張したオヤ(Oja)の学習則，オヤの学習則を拡張したザンガー(Sanger)の学習則などが知られています。ヘッブの学習則を使うとシナプスの結合係数が最大固有値に対応する固有値ベクトルの方向と一致し，オヤの学習則を使うとその固有ベクトルが１に規格化され，ザンガーの学習則を使うと望む数だけ固有ベクトルが大きい順にとりだせます。多数のニューロンと結合を持つ一つのニューロンを考えたとき，このニューロンへのシナプス結合係数の変化は，このニューロンの発火率とこのニューロンへ信号を送っているニューロンの発火率の積で表されるというのがヘッブの学習則であり，ヘッブの学習則に正則化項を取り入れたものがオヤの学習則であり，オヤの学習則を多層化したものがザンガーの学習則です。

NMF による意味の分解

同じような発想から非負行列因子化(NMF) と呼ばれる手法も最近注目を集めています。 NMF は入力データを構成する基底を抽出する自己組織化アルゴリズムです。実際に NMF を顏画像処に用いていろいろな人物の正面顔を入力した場合では，顔を構成するパーツ，目や鼻や口のような画像が基底として抽出されました。 NMF は基底と展開係数の成分が共に非負であるという性質を持っています。 NMF は基底と展開係数を更新することによって外界情報の持つ性質を抽出する自己組織化アルゴリズムの一手法です。 NMF を事典の各項目に対して応用した例では，例えば「アメリカ合州国憲法」は大統領，議会，権力などの各因子を展開係数を用いて加算した形で表されます。このように各概念が、下位概念(因子)とその重みである展開係数の積とで表現される点が NMF の特徴です。主成分分析などの統計的手法が全体的な傾向を近似しようとしてるのに比べて NMF はむしろデータを各パーツに分解し，しかも各基底間に直交性を仮定しません。

NMF の応用を示した簡単な例が http://www.cis.twcu.ac.jp/~asakawa/nmf/ にあります。ここでは小学生が学習する学習漢字 1006 字に対して NMF を実行し，ごんべんやしんにょうなどのパーツが基底として抽出されたことが示されています。

終わりに夢の途中あるいは勇気

クリストフ・コロンブスのアメリカ発見について，そもそも彼の偉大な点はどこにあるか，とうことをきく人があるならば，それは西周りのルートでインドへ旅行するのに，地球が球形であることを利用しようと言うアイデアではなかった，と答えねばならないだろう。このアイデアはすでに他の人々によって考えられたものであったし，彼の探検の慎重な準備，船の専門的な装備などと言うことでもなかった。それらのことは，他の人でもやろうとすればやれたに違いない。そうではなくて，この発見的航海で最も困難であったことは，既知の陸地を完全に離れ，残余の貯えでは引き返すことがもはや不可能であった地点から，さらに西へ西へと船を走らせるという決心であったに違いない。
ハイゼンベルク著「部分と全体」p.115, みすず書房

４ヶ月にわたって参加してくれてありがとう。プライベートに浅川とコンタクトを取る方法は，ここを参照してください。

Thank you for joing my class and thank you for travelling with my dream.

第14回 2010年7月23日