まずは先週触れなかった話題から

時代背景#

  • 18世紀 第 1 次産業革命: 蒸気機関，都市部に大規模工場が出現
  • 20世紀初頭 第2次産業革命: 電気，オートメーション化，自動車，飛行機，電車による移動手段の変化
  • 20世紀後半 第3次産業革命: 情報化，コンピュータ化，グローバル化
  • 21世紀から 第4次産業革命: AI 人間の能力を越える機械


Gray (2009) The 4th paradigm より

Topics today#

  1. モデルとはなにか What's model
  2. AI の歴史 History of AI
  3. 人工知能，ニューラルネットワーク，ディープラーニング，機械学習，データサイエンス，統計学，の違い Difference among AI, neural networks, deep learning, machine learning, data science, satistics.

AIの進歩の 5 つの要因 (この科目を履修すべき背景)#

  1. 計算 (ムーアの法則，GPUs, ASICs),
  2. データ (e.g. ImageNet),
  3. アルゴリズム (e.g. バックプロパゲーション, CNN, LSTM), and
  4. 基盤 (Linux, TCP/IP, Git, ROS, PR2, AWS, AMT, TensorFlow, etc.).
  5. 情報共有 (arXiv.org)

ディープラーニングの特徴#

from Democratize AI slides

  • データハングリー data hungry
  • 計算資源ハングリー resource hungry
  • 理論欠如 theory lagging

  • 不透明 opacity

  • ニューラルネットワークは素人の統計学である, Anderson et. al (1993)

... But Neural networks are not alchemy.

文献#

人工知能 AI とは何か#

  • 「人工知能の基礎」（小林 一郎）
    • 人の知能，つまり，人が行なう知的作業は，推論，記憶，認識，理解，学習，創造といった現実世界に適応するための能力を指す．人工の「知能」とは，人の「知能」のある部分を機械に行わせることによって創られる．
  • デジタル大辞泉 《artificial intelligence》コンピューターで，記憶・推論・判断・学習など，人間の知的機能を代行できるようにモデル化されたソフトウエア・システム．AI．

シャピロ (Shapiro, Stuart C., 1992) は次の3つの分野だと書いています。

  1. 計算論的心理学 Computational Psychology 人間の知的活動を理解するために人間のように振る舞うコンピュータプログラムを作ること
  2. 計算論的哲学 Computational Philosophy 人間レベルの知的活動を計算論的に理解すること。計算論的理解=コンピュータ上に実装可能なモデル

  3. 計算機科学 Advanced Computer Science コンピュータ科学の拡張，発展。現在のコンピュータはプログラムされたことしか実行できないが，人間はプログラムされていなくても勝手に振る舞う。

  4. Shapiro, Stuart C. (1992), "Artificial Intelligence", in Stuart C. Shapiro (ed.)E, ncyclopedia of Artificial Intelligence, 2nd edition (New York: John Wiley & Sons)

小説，戯曲の中#

映画#

  • Matrix, Star Wars, Surrogate, ...

TV anime#

  • 鉄腕アトム，がんばれロボコン, ..., ガンダム，エヴァ，

クイズ#

  • 小説，戯曲，に現れたロボット，人工知能を年代順に並べよ
  • アーサー・クラーク 2001 年宇宙の旅
  • アイザック・アシモフ われはロボット
  • カレル・チャペック ロボット
  • マリー・シェリー フランケンシュタイン

分野あるいは項目#

  1. 推論，問題解決 Reasoning, problem solving
  2. 知識表象 Knowledge representation
  3. 計画 Planning
  4. 学習 Learning
  5. 自然言語処理 Natural language processing
  6. 認識 Perception
  7. ロボティクス Motion and manipulation
  8. 社会知能 Social intelligence
  9. 創造性 Creativity
  10. 一般知能 General intelligence

AIの進歩の５つの要因#

  1. 計算能力の向上 (ムーアの法則，GPU, ASIC)
  2. データ爆発 (e.g. ImageNet, AMT),
  3. アルゴリズムの改善 (e.g. 誤差逆伝播法, CNN, LSTM)
  4. 基盤の整備 (Linux, TCP/IP, Git, ROS, PR2, AWS, TensorFlow)
  5. エコシステム 情報共有 (arXiv, Git, Reddit, Quora, Stackoverflow, ...)

from Karpathy's blog "Deep Reinforcement Learning: Pong from Pixels"

クイズ#

  • 次の語の示すサイトを訪れ，それぞれどのようなサイトかを調べよ

  • arXiv

  • Github
  • Reddit
  • Stackoverflow

AI を学ぶ人間のための心構え#

  • 無知蒙昧から来るブラックボックス的な恐怖を払拭するよう務める(現時点での技術的な裏付けに基づく啓蒙活動)
  • 現在の技術から予測できる近未来の展望を語ることを忌避しない(謙遜は美徳ではない)


未来はどっち？ It will depend on you.

クイズ#

  • 次の語の組み合わせのうち不適切なものを指摘せよ

  • IBM - Watson - Joapady

  • DeepMind - AlphaGo - 囲碁
  • Google 翻訳 - ペッパー
  • Uber - 自動運転

産業 #


Frey and Osborne (2013) より

アメリカ合衆国で 47%の仕事が自動化により消失すると予測

  • Automation, Skills Use and Training, Ljubica Nedelkoska and Glenda Quintini, OECD working paper (2018)

AI に奪われない職業 (Frey and Osborne, 2013 より)#

順位 職業

  1. レクリエーションセラピスト (Recreational Therapists)
  2. 機械、インストーラ、修繕士の第一線の監督者(First-Line Supervisors of Mechanics, Installers, and Repairers)
  3. 緊急管理ディレクター(Emergency Management Directors)
  4. メンタルヘルスおよび薬物乱用ソーシャルワーカー(Mental Health and Substance Abuse Social Workers)
  5. 聴覚医(Audiologists)
  6. 職業療法士(Occupational Therapists)
  7. 正教会と補綴学者(Orthotists and Prosthetists)
  8. 医療従事者ソーシャルワーカー(Healthcare Social Workers)
  9. 口腔および顎顔面外科医(Oral and Maxillofacial Surgeons)
  10. 消防職員の第一次監督者(First-Line Supervisors of Fire Fighting and Prevention Workers)

AI に奪われそうな職業 (Frey and Osborne, 2013 より)#

順位 職業

  1. 新規口座担当者(New Accounts Clerks)
  2. 写真プロセス労働者および加工機械オペレータ(Photographic Process Workers and Processing Machine Operators)
  3. 税務申告者(Tax Preparers)
  4. 貨物および貨物代理店(Cargo and Freight Agents)
  5. 時計修理業者(Watch Repairers)
  6. 保険引受人(Insurance Underwriters)
  7. 数学技術者(Mathematical Technicians)
  8. 下水道、手(Sewers, Hand)
  9. タイトル審査官、抽象化者、および調査員(Title Examiners, Abstractors, and Searchers)
  10. テレマーケティング担当者(Telemarketers)

クイズ#

Frey and Osbone (2013) で自動化によって失われる仕事の未来予測に用いられた機械学習の主な手法はどれか？

  1. ロジスティック回帰
  2. ディープラーニング
  3. リカレントニューラルネットワーク
  4. 強化学習

第四次産業革命，AIの自動化，AIの民主化，ソフトウェア 2.0 #

AI の自動化 #

auto-ML, auto-sklearn

AI の民主化 #

Democratizing AI

ソフトウェア2.0 #

  • Karpathy medium 'https://medium.com/@karpathy/software-2-0-a64152b37c35'

  • Software 2.0 is written in neural network weights.

  • No human is involved in writing this code.

分野の区別#

  1. 人工知能
  2. 機械学習
  3. ニューラルネットワーク
  4. ディープラーニング
  5. データサイエンス
  6. 統計学

各領域の関係は？

Michael Jordan's view#

  • 機械学習は統計学の一部なのだから，機械学習の文献だけ読まずに，統計学一般の文献を熟読して貢献しなさい (Machine learning is a part of statistics; don't just read the machine learning literature. - read, ponder and contribute to the broad statistical literature.)

from Michael Jordan, Machine Learning Summer School, Cambridge 2009.


Michael Irvin Jordan


Nvidia のサイトより

  • https://enterprisetechnologyconsultant.wordpress.com/2013/03/10/data-science-and-the-definition-and-role-of-a-data-scientist/

  • ウィリアム・クリーブランドの「データサイエンス:統計学の技術領野を拡張するための行動計画」が公刊されて以来データサイエンスという言葉が普及した。

  • W. S. Cleveland. Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics. ISI Review, 69:21–26, 2001.

  • https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/#123e7cc355cf Gil Press, CONTRIBUTOR I write about technology, entrepreneurs and innovation.

  • 1962 John W. Tukey writes in “The Future of Data Analysis”:
  • 1974 Peter Naur publishes ``Concise Survey of Computer Methods'' in Sweden and the United States.
  • 1977 The International Association for Statistical Computing (IASC) is established as a Section of the ISI. “It is the mission of the IASC to link traditional statistical methodology, modern computer technology, and the knowledge of domain experts in order to convert data into information and knowledge.”
  • 1994 BusinessWeek publishes a cover story on “Database Marketing”:
  • 1996 Members of the International Federation of Classification Societies (IFCS) meet in Kobe, Japan, for their biennial conference. For the first time, the term “data science” is included in the title of the conference
  • 1996 Usama Fayyad, Gregory Piatetsky-Shapiro, and Padhraic Smyth publish “From Data Mining to Knowledge Discovery in Databases.”
  • 2001 William S. Cleveland publishes “Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics.”

クイズ#

  1. 機械学習とニューラルネットワーク違うの？
  2. 機械学習と人工知能は違うの？
  3. ニューラルネットワークと人工知能は違うの？
  4. 機械学習とニューラルネットワークと人工知能は関係は？
  5. ディープラーニングとニューラルネットワークは違うの？

歴史#

  • 1952-1956: 人工知能の誕生
  • 1956–1974: 第一次 AI ブーム
  • 1974–1980: 第一次 AI の冬
  • 1980–1987: 第二次 AI ブーム
  • 1987–1993: 第二次 AI の冬
  • 1993–2001: AI の進展
  • 2000–現在: 第三次 AI ブーム 深層学習，ビッグデータ，汎用人工知能
  • 近未来: 第四次産業革命

先駆け#

  • サイバネティクス Cybernetics, ノーバート・ウィーナー(Nobert Wiener):

人間の感情と、他の生物のそれと、近代的な型の自動機械の 反応との間に鋭い乗り越えられない区画線を引く心理学者は、私 が私自身の主張に慎重でなければならないのと同様に、私の説を 否定するのに慎重でなければならない


ノーバート・ウィーナー

アラン・チューリング(1912–1954)#


http://www.azquotes.com/author/14856-Alan_Turing

  • チューリングテスト
  • チューリングマシン

フォン・ノイマン(1903-1957)#


http://www.azquotes.com/quote/893018

言葉は歴史的な偶然性に基いている部分が多いと考えるのが適当であろう。人間 の言葉は種々の形でわれわれに継承されてきたが，多くの言葉が存在するというこ と自体，言葉に絶対的なもとか必然的なものとかいうものはないことを証明してい る同じように，論理学とか数学とかは表現形式として歴史的，偶発的なも のとみなすべきである。」「われわれが数学を語る場合，中枢神経系で実際に使わ れている一次言語（第一次的な言葉）で作られた二次言語（第二次的な言葉）から 議論している」

第一次ブーム#

ダートマス会議#

-1956年のダートマス会議(Dartmouth 大学，ニューハンプシャー州，アメリカ合衆国)であると書かれています。人工知能という言葉が初めて用いられた


左からモーア，マッカーシー，ミンスキー，セルフリッジ，ソロモノフ

  • Moor, J The Dartmouth College Artificial Intelligence Conference: The Next Fifty Years, AI Magazine Volume 27 Number 4, 87-91 (2006)

7 つの問題#

ダートマス会議では人工知能が取り組むべき 7 つを列挙している

  1. コンピュータの自動化 (Automatic Computers)
  2. 日常言語を用いたコンピュータプログラミング (How Can a Computer be Programmed to Use a Language)
  3. ニューラルネットワーク (Neuron Nets)
  4. 計算規模の理論 (Theory of the Size of a Calculation)
  5. 自己改善 (Self-lmprovement)
  6. 抽象化 (Abstractions)
  7. 乱雑さと創造性 (Randomness and Creativity)

あらかじめ定められた課題だけしか扱うことができない融通の効かない機械を越えて人間のように柔軟に状況に対応することが人工知能に求められた課題

第一次AIブーム#

  • 1965年 ロビンソンの論理推論のための完全アルゴリズム (Robinson's complete algorithm for logical reasoning)
  • 1969年　マッカーシーとヘイズ(P. J. Hayes)”Some Philosophical Problems from the Standpoint of Artificial Intelligence” => フレーム問題の指摘
  • このころの希望に満ち溢れていた時代 をGOFAI(Good Old Fashioned AI:古き良きAI)と呼ぶ．

第一次ニューロブーム#

1950年代:

  • ウォーレン・マッカロックとワイルダー・ピッツによる 形式ニューロン の提案 (サイバネティクスの創始者ノーバート・ウィーナーの集めた研究者集団)


ウォーレン・マカロック(左) ワイルダー・ピッツ(右)

形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成され次式 (\ref{eq:formal_neuron})で表現される。

ここで は 番目のニューロンの出力， は 番目のニューロンの出力， はニューロン と との間の シナプス結合荷重 である。 は活性化関数と呼ばれる。


形式ニューロン

ローゼンブラット Rosenblatt のパーセプトロン#


ローゼンブラット


パーセプトロンの模式図 ミンスキーとパパート「パーセプトロン」より


ニューロンの模式図 wikipedia より

だが，ミンスキーとパパートの批判によりニューラルネットワーク研究が 10 年間途絶える

第一次氷河期#

研究者たちは楽観的すぎた。

  • 1958, H. A. Simon and Allen Newell: "within ten years a digital computer will be the world's chess champion" and "within ten years a digital computer will discover and prove an important new mathematical theorem.
  • 1965, H. A. Simon: "machines will be capable, within twenty years, of doing any work a man can do.
  • 1967, Marvin Minsky: "Within a generation ... the problem of creating 'artificial intelligence' will substantially be solved."
  • 1970, Marvin Minsky (in Life Magazine): "In from three to eight years we will have a machine with the genera intelligence of an average human being."

研究資金打ち切りの憂き目に合う

  • ここ時期日本では早稲田大学で WABOT プロジェクトが始まる

理由#

  • コンピュータパワー不足
  • 組合せ爆発
  • 常識の欠如
  • モラベックのパラドックス Moravec's paradox. ゲームや論理推論より，歩いたり，ものを見て認識したりするような課題の方がかえって難しい
  • フレーム問題

ニートとスクラフィ (neats and scruffies)#

  • neat: logic and symbolic reasoning
  • scurffy: frames and scripts

第二次人工知能ブーム#

  • 1970年代：エキスパートシステム 実世界に対応する知的なシステムを開発するためには現実世界における膨大な知識をシステムが持っていることが必要であると認識された．
  • 1972年：ウィノグラード (T. Winograd) “Natural Language Understanding”発表
  • SHRDLU：積み木世界で自然言語文を理解して計算機のなかのロボットハンドが積み木を移動する．
  • 1975年：ミンスキー ”A Framework for Representing Knwoledge”においてフレーム理論を発表
  • 日本では第5世代プロジェクト

第二次ニューロブーム,#

  • 誤差逆伝播法 (Webros，Rumelhart,)
  • 1986 年，PDP ブック，俗に言うバイブル，発表
  • ホップフィールドモデル (Hopfield)
  • 自己組織化モデル (Tohonen)


左からラメルハート，マクレランド，ヒントン

左からホップフィールド，コホネン，オヤ

第二次氷河期 (1988-1993頃)#

  • 計算論的アプローチ
  • ブルックスのヌーベルAI

1990 年代#

  • 統計的，計算論的アプローチ
  • オントロジー
  • WWWの普及と計算の高速化．データマイニング
  • 実世界のロボット
  • ロボカップの開始
  • ユビキタスコンピューティング
  • 複雑系
  • 人工生命，カオス，フラクタル，ネットワーク科学
  • ニートの勝利

2000年代#

  • メディア情報処理の実用化・普及
    • 画像処理，音声認識，自然言語処理
  • ビッグデータ
    • センサや計算機の価格の低下と普及
    • インターネットを通した共有

  • 機械学習

    • 様々な技術の基盤に．
    • ベイズ理論

  • 知能への構成論的アプローチとしての人工知能

  • 認知発達ロボティクス，計算論的神経科学，記号創発ロボティクス

第三次ニューロブーム#


  • 2013 ICLR スタート arXiv.org に予め論文を投稿，誰でも読める，誰でも批判できる。著者はそれに答えなければならない。トップカンファレンスとなる

第一次ニューロブーム#

1950年代:#

  • ウォーレン・マッカロックとワイルダー・ピッツによる 形式ニューロン の提案 (サイバネティクスの創始者ノーバート・ウィーナーの集めた研究者集団)


ウォーレン・マッカロック と ワイルダー・ピッツ

形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成される(次式)

ここで は 番目のニューロンの出力， は 番目のニューロンの出力， はニューロン と との間の シナプス結合荷重。 は活性化関数。


形式ニューロン

ローゼンブラット Rosenblatt のパーセプトロン#


フランク・ローゼンブラット


パーセプトロンの模式図 ミンスキーとパパート「パーセプトロン」より


ニューロンの模式図 wikipedia より

  • 1960 年，ミンスキーとパパートの批判
  • 第一次氷河期の到来

第二次ニューロブーム#

  • 1986 年，PDP ブック，俗に言うバイブル，発表
  • 1989 年，バプニック，サポートベクターマシン発表
  • 第二次氷河期の到来

第 3 次ニューロブーム#

以降は第一週目で触れたので省略

人工知能の歴史#

キーワード:#

  • GOFAI, symbolic AI, Enbodiment, Computational approach, neuveu AI, ata science, web ontology
  • 記号処理的AI Russel lNovig(2003)
  • 計算論的モデル (Marr, 1980)

1940-1950: Early days#

  • 1943: McCulloch & Pitts: Boolean circuit model of brainme
  • 1950: Turing's “Computing Machinery and Intelligence”

1950—70: Excitement: Look, Ma, no hands!#

  • 1950s: Early AI programs, including Samuel's checkers program, Newell & Simon's Logic Theorist, Gelernter's Geometry Engine
  • 1956: Dartmouth meeting: “Artificial Intelligence” adopted
  • 1965: Robinson's complete algorithm for logical reasoning

1970—90: Knowledge-based approaches#

  • 1969—79: Early development of knowledge-based systems
  • 1980—88: Expert systems industry booms
  • 1988—93: Expert systems industry busts: “AI Winter”

1990— 2012: Statistical approaches + subfield expertise#

  • Resurgence of probability, focus on uncertainty
  • General increase in technical depth
  • Agents and learning systems… “AI Spring”?

2012— : Excitement: Look, Ma, no hands again?#

§ Big data, big compute, neural networks § Some re-unification of sub-fields § AI used in many industries

    %Box 4: Why do cognitive science, computational neuroscience, and AI need each other?\cite{{2018KriegesKorte}

認知科学 対 計算論的神経科学 対 人工知能#

  • Cognitive science needs computational neuroscience, not merely to explain the implementation of cognitive models in the brain, but also to discover the algorithms. For example, the dominant models of sensory processing and object recognition are brain-inspired neural networks, whose computations are not easily captured at a cognitive level. Recent successes with Bayesian nonparametric models do not yet in general scale to real-world cognition. Explaining the computational efficiency of human cognition and predicting detailed cognitive dynamics and behavior could benefit from studying brain-activity dynamics. Explaining behavior is essential, but behavioral data alone provide insufficient constraints for complex models. Brain data can provide rich constraints for cognitive algorithms if leveraged appropriately. Cognitive science has always progressed in close interaction with artificial intelligence. The disciplines share the goal of building task-performing models and thus rely on common mathematical theory and technologies.
  • Computational neuroscience needs cognitive science to challenge it to engage higher-level cognition. At the experimental level, the tasks of cognitive science enable computational neuroscience to bring cognition into the lab. At the level of theory, cognitive science challenges computational neuroscience to explain how the neurobiological dynamical components it studies contribute to cognition and behavior. Computational neuroscience needs AI, and in particular machine learning, to provide the theoretical and technological basis for modeling cognitive functions with biologically plausible dynamical components.
  • Artificial intelligence %% needs cognitive science to guide the engineering of intelligence. Cognitive science’s tasks can serve as benchmarks for AI systems, building up from elementary cognitive abilities to artificial general intelligence. The literatures on human development and learning provide an essential guide to what is possible for a learner to achieve and what kinds of interaction with the world can support the acquisition of intelligence. AI needs computational neuroscience for algorithmic inspiration. Neural network models are an example of a brain-inspired technology that is unrivalled in several domains of AI. Taking further inspiration from the neurobiological dynamical components (e.g. spiking neurons, dendritic dynamics, the canonical cortical microcircuit, oscillations, neuromodulatory processes) and the global functional layout of the human brain (e.g. subsystems specialized for distinct functions, including sensory modalities, memory, planning, motor control) might lead to additional AI breakthroughs. Machine learning draws from separate traditions in statistics and computer science, which have optimized statistical and computational efficiency, respectively. The integration of computational and statistical efficiency is an essential challenge in the age of big data. The brain appears to combine computational and statistical efficiency and understanding its algorithm might boost machine learning.