ニューラルネットワークの歴史#

第一次ニューロブーム#

1950年代:#

• ウォーレン・マッカロックとワイルダー・ピッツによる 形式ニューロン の提案 (サイバネティクスの創始者ノーバート・ウィーナーの集めた研究者集団)

ウォーレン・マッカロック と ワイルダー・ピッツ

形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成される(次式)

$$y_i=\phi\left(\sum_jw_{ij}x_j\right),\label{eq:formal_neuron}$$

ここで Yi は i 番目のニューロンの出力，Xj は j 番目のニューロンの出力，Wij はニューロン i と j との間の シナプス結合荷重。$\phi$ は活性化関数。¹

形式ニューロン

---

ローゼンブラット Rosenblatt のパーセプトロン#

フランク・ローゼンブラット

パーセプトロンの模式図 ミンスキーとパパート「パーセプトロン」より

ニューロンの模式図 wikipedia より

---

• 1960 年，ミンスキーとパパートの批判
• 第一次氷河期の到来

---

第二次ニューロブーム#

• 1986 年，PDP ブック，俗に言うバイブル，発表
• 1989 年，バプニック，サポートベクターマシン発表
• 第二次氷河期の到来

---

第 3 次ニューロブーム#

• 2013 ICLR スタート arXiv.org に予め論文を投稿，誰でも読める，誰でも批判できる。著者はそれに答えなければならない。あっという間にトップカンファレンスとなる
• 2013 Mikolov word2vec を発表

Mikolovの類推課題

• 2013 DeepMind DQN を発表

---

DQNの結果

---

• 2014 Neural Image Captioning が注目を集める。

• Human: A group of men playing Frisbee in the park.
• Machine: A group of young people playing a game of Frisbee.

---

• 2015 画像生成技術が注目を浴びる

{#fig:deep_dream style="width:49%"}

---

• 2016 GAN が注目を浴びる

Generative Adversarial Text to Image Synthesis

Generative Adversarial Text to Image Synthesis arXiv:1605.05396v2

---

• 2016 アメリカ合州国大統領候補の一人の発言を模倣する「ディープトランプ」がツィッター上で注目を集める

• 2016 アルファ碁がイ・セドルを破る

アルファ碁 Natureより