考え方，背景，キーワード#

構成論的アプローチ vs 分析的アプローチ
神は細部に宿る
Carbon chauvinism
p-値廃止の影響
計算論モデル

キーワード: ANN, BNN, 計算論的アプローチ，モデル

数学#

万物は数なり --- ピタゴラス
宇宙は数学語で書かれている。数学なしでは迷宮を理解できない --- ガリレイ
作れなければ理解できたと言えない --- ファインマン

今際の際に黒板に書いてあったファインマンの言葉，カリフォルニア工科大学アーカイブ写真

若者よ，数学は理解するものではない，ただ慣れるだけだ --- フォン・ノイマン
科学は説明しないし，解釈もしない。ただモデルを作るだけである。この場合モデルとは観察された現象を説明する数学(的構成物)である。そのモデルは，ひとえに期待どおり正確であることで正当化される。 --- フォン・ノイマン

われわれの宇宙はただ単に数学で記述されているだけではない。宇宙は数学である，我々は皆，大きな数学的実態の一部なのだ。--- テグマーク

source: https://www.youtube.com/embed/fRj34o4hN4I

概要#

画像認識のデモ

ニューラルネットワークの歴史#

第一次ニューロブーム#

1950年代:#

ウォーレン・マッカロックとワイルダー・ピッツによる 形式ニューロン の提案 (サイバネティクスの創始者ノーバート・ウィーナーの集めた研究者集団)

ウォーレン・マッカロックとワイルダー・ピッツ

形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成される(次式)

$y_i=\phi\left(\sum_jw_{ij}x_j\right),\label{eq:formal_neuron}$

ここで $y_i$ は $i$ 番目のニューロンの出力， $x_j$ は $j$ 番目のニューロンの出力， $w_{ij}$ はニューロン $i$ と $j$ との間の シナプス結合荷重。 $\phi$ は活性化関数。

形式ニューロン

ローゼンブラット Rosenblatt のパーセプトロン#

フランク・ローゼンブラット

パーセプトロンの模式図ミンスキーとパパート「パーセプトロン」より

ニューロンの模式図 wikipedia より

1960 年，ミンスキーとパパートの批判
第一次氷河期の到来

第二次ニューロブーム#

1986 年，PDP ブック，俗に言うバイブル，発表
1989 年，バプニック，サポートベクターマシン発表
第二次氷河期の到来

第 3 次ニューロブーム#

2013 ICLR スタート arXiv.org に予め論文を投稿，誰でも読める，誰でも批判できる。著者はそれに答えなければならない。あっという間にトップカンファレンスとなる
2013 Mikolov word2vec を発表

Mikolovの類推課題

2013 DeepMind DQN を発表

DQNの結果

2014 Neural Image Captioning が注目を集める。

Human: A group of men playing Frisbee in the park.
Machine: A group of young people playing a game of Frisbee.

2015 画像生成技術が注目を浴びる

天安門前広場の夢(撮影は自民解放軍の兵士に依頼した) {#fig:deep_dream style="width:49%"}

2015 人工知能学会が日本では「深層学習」と呼ぶことに決定する

2016 GAN が注目を浴びる

Generative Adversarial Text to Image Synthesis

Generative Adversarial Text to Image Synthesis arXiv:1605.05396v2

2016 アメリカ合州国大統領候補の一人の発言を模倣する「ディープトランプ」がツィッター上で注目を集める

2016 アルファ碁がイ・セドルを破る

アルファ碁 Natureより

危惧#

ＡＩ戦略（有識者提案）及び人間中心のＡＩ社会原則（案）について
- ソサイエティ 5.0 これ自体がドイツのインダストリー 4.0 のパクリ
- Ban Lethal Autonomous Weapons
アシロマ原理

https://futureoflife.org/background/aimyths/

source: https://youtu.be/G06dEcZ-QTg

source: https://www.youtube.com/embed/8vIT2da6N_o

認知計算論的神経科学 Cognitive computational neuroscience#

Kriegeskorte and Doglas (2018) Fig. 2より

脳の機能を理解することはどういうことか？認知計算神経科学の目的は実世界の認知課題を遂行可能で，生物学的妥当性を持つ計算モデルを用いて動物や人間の神経活動と行動の多くの観測結果を説明することである。歴史的には各分野（円）はこれら課題の回問題（白ラベル）に取り組んできた。

Kriegeskorte and Doglas (2018) Fig. 2より

処理モデル空間におけるモデルの布置。脳内で行われている処理モデルは，異なる記述レベルと計量的複雑度で変動する。モデルの複雑度を黒マルの大きさで表現し，認知的忠実性(縦軸)と生物学的忠実性(横軸)とにプロットした図。

理論家は、さまざまな主要目標を使用してモデリングに取り組みます。モデリングへのボトムアップアプローチ（青い矢印）は、活動電位や単一ニューロンの複数のコンパートメント間の相互作用など、生物学的ニューラルネットワークの特性を最初に捉えることを目的としています。

このアプローチは、皮質の柱や領域などの脳の小さな部分の創発的なダイナミクスの理解に焦点を当て、振動などの生物学的ネットワーク現象を再現するために、認知機能を無視します。

トップダウンアプローチ（赤い矢印）は、最初に認知機能をアルゴリズムレベルでとらえることを目的としています。この手法は、タスク性能の基礎をなす情報処理をそのアルゴリズムの構成要素に分解することに焦点を合わせるために、生物学的実装を無視する。

この 2 つのアプローチは、私たちの脳がどのようにして私たちの心を生み出すかを説明するための共通の目標に向けた一連の道筋の極値を形成します。全体的に、認知と生物学的忠実度の間にはトレードオフ（負の相関）があります。

しかし、認知の制約が生物学的機能を明らかにするとき、そして生物学が認知の特技を説明するモデルを刺激するとき、そのトレードオフは相乗効果（正の相関）に変わることができます。

知能は豊かな世界の知識を必要とするので、人間の脳情報処理のモデルは高いパラメトリックな複雑さ（右上隅の大きな点）を持つでしょう。たとえ生物学的詳細から抽象化するモデルが課題遂行を説明することができるとしても、生物学的詳細モデルは神経生物学的実施を説明するために依然として必要とされるであろう。

この図は、モデル間の関係を理解し、それらの補完的な貢献を理解するのに役立つ概念的な漫画です。ただし、それは認知忠実度、生物学的忠実度、およびモデルの複雑さの定量的尺度には基づいていません。 3つの変数のそれぞれを測定するための決定的な方法はまだ開発されていません。

model って何？#

現象の抽象化。現実とは異なるが取扱が簡単な喩え，言い換え，抽象化。

認知心理学，認知科学
神経科学
人工知能

のそれぞれにおいて 生物学的妥当性 biological plausibility を持つ計算論モデル computational modeling が求められる。 - 全脳アーキテクチャ勉強会第25回計算論的精神医学

天文学や物理学などの分野での意味と計算論の意味が異なる

Data-analysis models
box-and-arrow model: In cognitive psychology, such models provided useful, albeit ill-defined, sketches for theories of brain computation
word model
oracle model
brain-computational model (BCM)
image-computable model
Reinforcement learning models
sensory encoding model
internal-transformation model
behavioral decoding model
Psychophysical models
cognitive models
biophysical models
brain-dynamical and causal-interaction models,
model-based reinforcement learning and model-based cognition.

Neural network models#

マー(Marr)のレベル#

モデル，データ，タスク#

Kriegeskorte & Dogulas (2018) Fig. I