連絡事項#

• 定期試験日程変更:
  • 日時: 7 月 19 日金曜日 1 時限

復習#

# for recurrent neural networks
cd ~/study/2018karapthy_recurrentjs.git
open character_demo.html

本日のデモ#

• word2vec

計算論的意味論の研究史#

意味微分法 SD 1952 年#

• 因子分析(FA) 形容詞対による多段階評定
• Osgood (1952) Tab.1
• Osgood (1952) Fig. 2

潜在意味分析 LSA (LSI) 1997 年#

• 潜在意味分析: 特異値分解(SVD), 単語 × 内容 行列
• Landauer (1997) Fig. 3

潜在ディレクリ配置 LDA 2001, 2003年 Blei, Jordan#

• 多次元ディレクリ分布(多次元ベータ分布) によるノンパラメトリック推定
• 発展モデル: 中華レストラン過程 CRP, インド食堂過程 IBP, パチンコ過程
• トピック 出典: ブライのスライド(2009)より，文章は話題(トピック)の混合
• 各文章はその話題から文章が生成されたと考える
• プレート表記 ノンパラメトリックモデル，グラフィカルモデルとプレート表記
  • 丸は確率変数
  • 矢印は確率的依存関係を表現
  • 観測変数は影付き(文献によっては二重丸)
  • プレートは繰り返しを表す
• 潜在ディレクリ配置のプレート表記
• 例
• LDA R implementation
  • https://cran.r-project.org/web/packages/lda/index.html
  • https://cran.r-project.org/web/packages/topicmodels/index.html

word2vec (2013) ミコロフ, 単語埋め込みモデル，あるいは，ベクトル埋め込みモデル#

• word2vec: CBOW, SGNS
• 計算論的意味論
• スライド1
• word2vec オリジナル論文 2013年 Mikolov
• fastText 文埋め込みモデル
• たとえば 浅川, 岡, 楠見 (2018)

2018年の展開 人間超えした NLP モデル#

• セバスチャン・ルーダーなどは自然言語処理におけるイメージネットの時代が到来したなどと言ってます。
• ELMo, BERT, and GPT-2 資料 − 2019年大炎上
• マルチヘッド注意, 事前学習, ファインチューニング，文埋め込み，ランダムなブランク
• ELMo, BERT[^BERT], GPT2: BiRNN
• NLP における注意
• 文献や情報源: ELMo, BERT, OpenAI のプログ

• TensorFlow.dev によるデモ

  • universal-sentence-encoder-large
  • elmo
  • bert_uncased_L-12_H-768_A-12

• トランスフォーマー, 論文のタイトルは attention is all you need (YouTube)

  • Fig. 1
  • Fig. 2
  • ちなみにこの論文が発表されて以来，Gradient decent all you need, Diversity all you need, CNN all you need, Attention is not all you need などというふざけた名前の論文が散見されるようになった。
• 文献: ELMo, BERT, GPT2

心理学における注意の研究史#

1. 両耳分離聴 dichotomous listening ブロードベント(1958)，トリーズマン(1964)
2. スペリー (1968) 分離脳 split brain
3. ポズナー(1980) , ポズナーとコーエン(1984) 復帰抑制 (IOR: Inhibition of return) Posner 1982 Fig. 1 Posner 1982 Fig. 6
4. 特徴統合理論 (FIT) Triesman 1988 Fig.1，検索非対称性 Treisman (1988) Fig. 3, Triesman (1988) Fig. 5
5. サーチライト(クリック, 1984)，スポットライト(ラバージ, 1985)，ズームレンズ(エリクセン, 1986)，
6. コッホ と ウルマン (1985) 勝者専有 Winner-take-all WTA (YouTube)
7. Itti and Koch 計算論モデル(1999,2001)
8. ピーターセンとポズナーのレビュー(2012版)
   • Fig. 2a
   • Fig. 2b
   • Fig. 2c
9. 木村，米谷，平山 レビュー(2013) データセット，オープンソースデモの整備
10. Oxford handbook of attention (2014)
    • 最近提案されたモデル Itti ら
    • 上の比較画像