核心概念
ノイズを含む構造的なデータを用いて神経ネットワークを学習させることで、分類と一般化の性能を大幅に改善できる。
要約
本研究では、ノイズを含む構造的なデータを用いて神経ネットワークを学習させる手法について分析している。
まず、Gardner らによって提案された訓練時ノイズ注入アルゴリズム(TWN)について、その理論的な枠組みを明らかにした。TWN は、ノイズを含むデータを用いて学習を行うことで、分類と一般化の性能を向上させることができる。
次に、ノイズの構造を最適化することで、TWN の性能をさらに改善できることを示した。具体的には、ノイズ成分に特定の制約を課すことで、Support Vector Machine (SVM) と同等の性能を達成できることを明らかにした。
さらに、最大ノイズ条件下では、TWN アルゴリズムがヘビアン・アンラーニングルールと等価になることを証明した。このことから、ヘビアン・アンラーニングが大きな引き込み領域を持つ理由が説明できる。
以上の結果から、構造的ノイズを用いた学習は、生物学的に妥当性の高い、効率的な学習手法であると考えられる。
統計
神経ネットワークの結合強度Jijは、ノイズを含む訓練データ{Sµd
i }を用いて更新される。
訓練データSµd
iは、メモリーベクトル{ξµ
i }とノイズ変数{χµd
i }を用いて生成される。
最大ノイズ条件下(mt = 0+)では、TWNアルゴリズムの更新式がヘビアン・アンラーニングルールと等価になる。
引用
"ノイズを含む構造的なデータを用いて神経ネットワークを学習させることで、分類と一般化の性能を大幅に改善できる。"
"最大ノイズ条件下では、TWNアルゴリズムがヘビアン・アンラーニングルールと等価になる。"