畳込みニューラルネットワーク(2)#

前回の復習#

ディープラーニング 深層学習, deep learning とは 信用割当問題 credit assignment problem を回避するために 畳込み convolution 演算(処理)を用いて多層にしたニューラルネットワークのこと
畳込み演算の概念

$\begin{equation} \left[\mbox{畳込み}\left(\ge1\right) \rightarrow \mbox{プーリング}\left(\ge0\right)\right] \times \left(\ge1\right)\rightarrow\mbox{全結合層}\left(\ge1\right) \end{equation}$

カーネルサイズ
プーリング
ストライド
パディング
ハイパーパラメータとしてのカーネル(特徴)サイズ，ストライド，パディング

本日のお品書き，あるいは目標，ねらい#

ニューラルネットワーク，機械学習の分野で頻繁に用いられている性能向上のための技法を紹介
この授業の目標は深層学習の心理学的な意味付けを考えることであるので，紹介する上記の技法は無関係のように思われる
だがそうではないことを理解することが目的

本日の実習#

寄り道#

5 月 15 日に発表された文部科学省の資料, 高等学校情報科「情報Ⅰ」教員研修用教材（本編）
第3章コンピュータとプログラミング: Python でサンプルコードが書かれている。
第4章情報通信ネットワークとデータの活用: テキストマイニングで R with Mecab

アレックスネット以降の流れ#

2013年 ZF ネット
2014年 GoogLeNet (インセプション)，VGG，Very Deep, GAN, VAE
2015年残渣ネット (ResNet) この時点で，人間超え
2016年 YOLO, SSD, Segmentation (Semantics/Instance)
2017年 Mask R-CNN
2018年モバイルネット

G 検定公式テキスト7章より

Zeiller 2012 より

高精度化，高速化への努力#

確率的勾配降下法，オンライン学習，バッチ学習
データ拡張
正則化
ドロップアウト
非線形活性化関数
最適化手法

Pholosophical consideration#

Epistemology 思念的，観念的
Empirical Episitemology 実証的 = psychology
Constructive epipstemology 構成論的 = computer vision, neural networks

生理学，視覚心理学との対応#

Julesz
Julesz (1981) Textons, the elements of texture perception, and their interactions, Nature

Julesz (1981) Fig. 2 より

Marr
- Computational approach: Vision (1908)
Poggio
- Poggio, Torre, and Koch (1985) Computational vision and regularization theory

一つのアルゴリズム仮説 One algorithm hypothesis#

Metin and Frost (1989) Visual responses of neurons in somatosensory cortex of hamsters with experimentally induced retinal projections to somatosensory thalamus
Roe et al. (1992) Visual Projections Routed to the Auditory Pathway in Ferrets: Receptive Fields of Visual Neurons in Primary Auditory Cortex

生理学との対応 (Hubel and Wiesel のネコとサル, Blackmore のネコ, ヴァンエッセン)#

層間の結合の仕方, アーキテクチャ
forward/backward 役割，機能，実現方法
側抑制 lateral inhibition (これについては多層化して回避できる可能性あり)
shape from X は正しかったのか？ただし発達心理学におけるシェイプバアスは言語発達において重要な意味を持つはず。だからと言って乳幼児はそのように強制(脅迫？)，矯正されて育つわけではないだろう。
- Ritter (2017) Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study
- Landau, Smith, Jones (1992) Syntactic Context and the Shape Bias in Childrens and Adults Lexical Learning
- Yamins (2016) Using goal-driven deep learning models to understand sensory cortex
- Julez のアプローチは視覚研究者 Haar, SIFT, DoG などのアルゴリズム開発者と対応
- Poggio (1985) Computational Vision and Regularization Theory

映画インセプションのスクリーンショット。Special thanks to Netflix

https://www.netflix.com/watch/70131314?trackId=14170286&tctx=3%2C0%2C9a10a321-9c1f-4396-b5df-00b5b84e6917-23965358%2C3d0e40f0-b286-48eb-afb3-2c7c501c86fc_86910893X3XX1558568676167%2C3d0e40f0-b286-48eb-afb3-2c7c501c86fc_ROOT

『インセプション』（原題: Inception）は、クリストファー・ノーラン監督・脚本・製作による2010年のアメリカのSFアクション映画。第83回アカデミー賞では作品賞、脚本賞、撮影賞、視覚効果賞、美術賞、作曲賞、音響編集賞、録音賞の8部門にノミネートされ、撮影賞、視覚効果賞、音響編集賞、録音賞を受賞した。全米脚本家組合賞ではオリジナル脚本賞を受賞した。日本語ウィキペデイアより

Inception モジュール

Edge detection
Spatio-temporal interpolation and approximation
Computation of optical flow
Computation of lightness and albedo
Shape from contours
Shape from texture
Shape from shading
Binocular stereo matching
Structure from motion
Structure from stereo
Surface reconstruction
Computation of surface colour

Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex by Qianli Liao and Tomaso Poggio は注目すべき？ ResNet の解釈 <!--
Hinton, Deep Learning, (Rumelhart backprop also) は Sutton の Bitter lesson の具現化である。end-to-end 一気通貫学習は，特徴抽出(特徴分析)，表現学習(内部表象)，分類器(意思決定)を含む。 -->

用語の整理#

SGD 確率的勾配降下法 stochastic gradient descent method
- 勾配消失問題 gradient decent problem
- 責任割当問題 credit assignment problem
非線形変換 non lineaar transformation
- ReLU 整流線形ユニット Recutified Linear Unit
- ソフトマックス関数 softmax function
- 交差エントロピー cross entropy
オーバーフィッティング過学習 overfitting の回避法
- 正則化 regularization
- ドロップアウト dropout
データ拡張 data augumentation
penultimate layer
{バッチ, 層, 重み} 正規化
one algorithm hypothesis

正規化，正則化，標準化，白色化，二重中心化#

白色化については平井有三先生のパターン認識が参考文献で良いかな
Differences between normalization, standardization and regularization

TensorFlow HUB #

インセプション Inception，残渣ネット ResNet，領域 R-CNN (Regional Convolutional Neural Networks)#

what and where routes
心理学的対応物(？)
/2015documents/2014Cadieu_Deep_Neural_Networks_Rival_the_Representation_of_Primate_IT_Cortex_for_Core_Visual_Object_Recognition.pdf
/2019documents/2019NasrViswanathanNieder_Number_detectors_spontaneously_emerge_in_a_deep_neural_network_designed_for_visual_object_recognition.pdf
/2018documents/2018Marcus_Deep_Learning_A_Critical_Appraisal.pdf
転移学習

Notebooks#

colab/text_classification_with_tf_hub_on_kaggle.ipynb Shows how to solve a problem on Kaggle with TF-Hub.
colab/semantic_similarity_with_tf_hub_universal_encoder.ipynb Explores text semantic similarity with the Universal Encoder Module.
colab/tf_hub_generative_image_module.ipynb Explores a generative image module.
colab/action_recognition_with_tf_hub.ipynb Explores action recognition from video.
colab/tf_hub_delf_module.ipynb Exemplifies use of the DELF Module for landmark recognition and matching.
colab/object_detection.ipynb Explores object detection with the use of the Faster R-CNN module trained on Open Images v4.

The Complete Beginner’s Guide to Deep Learning: Convolutional Neural Networks and Image Classification, Anne Bonner Feb. 02
畳込みニューラルネットワーク (Convlutional Neural Networks:CNN) とは画像認識におけるゲームチェンジャー(以後，画像認識，ビデオ分類，自動運転，ドローン，ゲームなどへの応用多数)
イメージネット画像コンテストでは，分類 (classification) 課題と位置 (locallization) 課題とからなる。
コンテストは 2010 年から Li Fei-Fei さん中心となって AMT で画像のアノテーションを行って画像を2012 年の優勝チームが CNN を使った。通称アレックスネット
スタンフォード大学の授業 CS231n: Convolutional Neural Networks for Visual Recognition. スライド](http://cs231n.stanford.edu/slides/2019/cs231n_2019_lecture05.pdf)

さらなる情報#

Math? Introduction to Convolutional Neural Networks by Jianxin Wu
C.-C. Jay Kuo Understanding Convolutional Neural Networks With a Mathematical Model.
the absolute basics of activation functions, you can find that here!
Artificial neural networks? You can learn about them here!)

video by Geoffrey Hinton on the softmax function
A Friendly Introduction to Cross Entropy Loss by Rob DiPietro
How to Implement a Neural Network Intermezzo 2 by Peter Roelants
画像分類の基礎)
Introduction to Convolutional Neural Networks by Jianxin Wu
Yann LeCun’s original article, Gradient-Based Learning Applied to Document Recognition
The Nine Deep Learning Papers You Need to Know About (Understanding CNNs part 3) by Adit Deshpande