本論文では、FFCL(Forward-Forward Contrastive Learning)アルゴリズムの改善に取り組んでいる。FFCL
アルゴリズムには3段階の学習プロセスが存在し、最終段階でバックプロパゲーションが使用されるという課題があった。
提案手法では、FFCL
の2つの前処理段階を省略し、2つの同一モデルを用いて局所的な更新のみを行うことで、バックプロパゲーションを完全に排除している。
各層には独自の損失関数が設定されており、一方のモデルの出力を他方のモデルの対応する層の学習に利用する。
実験の結果、提案手法は指数関数的に損失が減少し、テストデータの精度も向上することが示された。
生物学的な観点から見ると、ニューロンの同時発火の原理であるヘブ理論や、動作模倣に関与するミラーニューロンの特性と提案手法の関連性が示唆される。
本研究は、より生物学的に妥当な学習アルゴリズムの開発に貢献するものと期待される。
לשפה אחרת
מתוכן המקור
arxiv.org
שאלות מעמיקות