p 個の n 次元ベクトル を 個の(主成分)ベクトル の一次結合に分解すること を主成分分析という。
パーセプトロンとの関係では、 p 個の入力層ニューロンから、m 個の出力層ニューロンへ の結合を考える。 入力パターンが n 個あるとする。 このとき、入力はデータ 1 つづつ逐次的にネットワークに与えられ その都度入力層から出力層への結合係数が修正されていくものとする。
を 
個の(主成分)ベクトル
の一次結合に分解すること
を主成分分析という。