ニューラルネットワークとは何か#

形式ニューロンは，シナプス結合荷重ベクトルと出力を決定するための伝達関数とで構成され次式で表現される。

$$y_i=\phi\left(\sum_jw_{ij}x_j\right)$$

ここで $y_i$ は $i$ 番目のニューロンの出力，$x_j$ は $j$ 番目のニューロンの出力，$w_{ij}$ はニューロン $i$ と $j$ との間の シナプス結合荷重 である。 $\phi$ は活性化関数と呼ばれる。

形式ニューロン

---

2層以上の中間層を持つニューラルネットワークを deep neural networks と呼ぶ。

3層 MLP: multi-layered Perceptrons

$$h_1 = \sigma\left(\mathbf{W}_1\mathbf{x}+\mathbf{b}_1\right)$$

$$h_2 = \sigma\left(\mathbf{W}_1\mathbf{h}_1+\mathbf{b}_2\right)$$

$$P = \mbox{softmax}\left(\mathbf{W}_{o}+\mathbf{b}_o\right)$$

活性化関数 activation function には ロジスティック関数 logistic function が使われてきた　 $$\sigma(x) = \left(1+e^{-x}\right)^{-1}$$

英語で S 字曲線の意味を持つ シグモイド関数 sigmoid function という言葉も用いられる。 次の ハイパータンジェント もシグモイド関数である

$$\phi(x) = \tanh(x) = \frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$$

近年ではより簡単な非線形関数を用いる傾向 ReLU(整流線形ユニット) など。

$$ReLU = \max(0, x)$$

ReLU と $tanh$ の比較 Krizensky et. al,2012 より

種々の活性関数のグラフ

出力層における誤差，あるいは損失を最小にするような学習。 例えば損失として クロスエントロピー cross entropy を用いることにすれば

$$l(t,y) = \mathbf{t}^T\log\left(\mathbf{y}\right)$$

あるいは

$$l(t,y)=-\sum_{i=1}^{m}\left[t_{i}\log(y_{i})+(1-t_{i})\log(1-y_{i})\right]$$

回帰ではなくクラス分類の場合にはクロスエントロピー損失を用いることが 多い。理由は [ニールセンのブログ]((http://neuralnetworksanddeeplearning.com/chap3.html) にも詳細に記述されている。 和訳 また Ng のMOOCロジステック回帰の説明に詳しい。