カスケードコリレーション

浅川伸一 asakawa@twcu.ac.jp

カテゴリー分類課題において典型的なパターン(プロトタイプ)が存在する場合 動径基底関数 radial basis fuction とよばれるネットワークを使った方が 学習が容易になる場合があります。入力層に与えられる物理的な特徴量を蛇次元空 間に表現されたプロトタイプであると見なした場合、中間層にシグモイド関数を用 いるよりも単峰性の RBF を使った方がよい場合があります。 例えば i 番目の中間層の出力を

$\displaystyle f_i(x)=\exp\left(-\frac{\left(x-u_i\right)^2}{2\sigma^2}\right)$ (1)

とします。ここで $ u_i$ はユニット i が代表する値であり $ sigma$ は標準偏差 です。各入力データに対して最も近い代表値を持つユニットが最も大きな出力を出 します。

問題の性質がよくわかっているときには各ユニットのパラメータ $ u$ と $ sigma$ を配置しておけば中間層に対しては学習の必要がありません。

出力層ユニットのそれぞれが一つの概念などを表現している場合など すべての出力層の値の総和が 1 になるように揃えて、出力層ユニットの出力値を 各概念に対する判断確率だとみなすために正規化することがあります。 すなわち

$\displaystyle z_k=\frac{e^k}{\sum_{m=1}^ce^m}$ (2)

これをソフトマックス法といいます。これは出力の最大値を 1.0 に近づけ、その 他の出力を 0.0 に近づけます。この意味でソフトマックス法は勝者独占法則 winner-take-all の一種と言えます。