パーセプトロンでは絶対にとけない問題に XOR (排他的論理和)問題がある。 図5を見るとわかるとおり、XOR 問題は線形分離不可能な問題 である。
のニューロンは
なので
のニューロンは
なので
という不等式になる。XOR 問題を解くための
シナプス結合とグラフとが対応していることが図から分る。
XOR 問題の解は、無数に存在することも明らか。
つまり中間層の素子1個は1つの線形判別関数に相当する。従って n 個の中間
層を用意すれば 個のカテゴリー分類が可能である。