データの圧縮
./bp3.exe を使ってデータの圧縮をしてみよう。 これは砂時計モデルとも呼ばれ， 中間層が入力層や出力層に比べて少ないモデルである。
この場合、中間層の表現である種のデータ圧縮が起こる。特にに、入力データと出 力データが同じ場合、主成分分析の近似解が得られる。すなわち固有値問題を解い ていることに相当するような表現が中間層に現れる。
例えば，先にも使ったひらがな46文字のデータ aiueo46x1024.input を 入力とし，出力も同じデータを使うことにすればよい。 ひらがな 46 文字を 32行32列にラスタライズしたデータをANNSが利用できる mat 形式に変換したデータ。このデータを使って，
$ ./bp3.exe -input aiueo46x1024.input -teacher aiueo46x1024.input -hidden 30
などとすればよい。
画像のデータ圧縮
128×128 ピクセルの一枚の画像を 8×8 の小領域に分割し、 恒等写像を学習させた。恒等写像なので入力ベクトルも出力ベクトルも同じ 64 次元である。ここでは中間層のユニット数を 16 とした。 すなわち 16/64=1/4 のデータ圧縮を行なったことになる。
一ピクセルあたり 256 階調のグレースケールのデータを 0 から 1 までの値 に変換し，8×8=64 次元のデータを 256 個使って訓練した。
学習係数は 0.01 とし，MSE = 0.03 に達するまでに要した学習回数は 1460 回であっ た。復元された画像を以下に示す。
