階層型ネットワークの行列表現

単純な2層のネットワークを考える。i 番目の出力層の各ニューロンの膜電位 をまとめて とベクトル表現し、同様に入力 層も とする。ニューロン から ニューロン へのシナプ ス結合強度を と表現すれば、入力層から出力層への関係は

 
Figure 1: ネットワークの行列表現

と表現できる。 しきい値の扱いについては、常に 1 を出力する仮想的なニューロン を 考えて W に組み込むことも可能です。

実際の出力は の各要素に対して

 

のような非線型変換を施すのが普通。 この非線型変換が階層型のネットワークには本質的。 なぜならば、この単純なシナプス結合強度を表す行列 ( ) , としたとき、 と置くことによって 本質的には 1 層のネットワークと等価になるからです。