ニューラルネットの基礎#

はじめの一歩#

Google Playground デモ

あるいは当日通信状態が悪かったときのための保険的意味合いで:

cd ~/study/2019tensorflow_playground.git
npm run serve

おそらく排他的論理和を解く最短の python コードを以下に示しました。ソース

import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
w0 = 2 * np.random.random((3,4)) - 1
w1 = 2 * np.random.random((4,1)) - 1
for i in range(500):
    l1 = np.tanh(np.dot(X,w0))
    l2 = 1/(1+np.exp(-(np.dot(l1,w1))))
    dl2 = (y - l2) * (l2 * (1 - l2))
    dl1 = dl2.dot(w1.T) * (1 - l1 ** 2)
    w1 += np.dot(l1.T, dl2)
    w0 += np.dot(X.T, dl1)
    print(l2.T) if i % 100 == 0 else Noneimport numpy as np

用語集#

非線形性#

GRU
LSTM
Relu
Sigmoid
Tanh

結合パターン#

Fully connected
Convolutional
Dilated
Recurrent
Recursive
Skip / Residual
Random

最適化#

SGD
Momentum
RMSProp
Adagrad
Adam
Second Order (KFac)

損失関数#

交差エントロピー
敵対
変分
最大対数尤度
Sparse
L2 Reg
REINFORCE

ハイパーパラメータ#

Learning Rate
Decay
Layer Size
Batch Size
Dropout Rate
Weight init
Data augmentation
Gradient Clipping
Beta
Momentum

尤度，交差エントロピー，情報理論
各種最適化手法，確率的勾配降下法，AdaGrad，AdaDelta，RMSProp，Adam，自然勾配法，ニュートン法，L-BGFS
主成分分析，特異値分解，自己組織化，(非負)行列因子化法
固有顔，フィッシャー顔，部分空間法
マッカロックとピッツの形式ニューロンと生理学的対応物
パーセプトロン学習則，誤差逆伝播学習則，正則化項 (L2，L1，L0)
各種活性化関数，シグモイド関数，ハイパータンジェント，整流線形ユニット，ソフトマックス関数，劣微分

付録

勾配降下法の基礎