継続学習

insight - 継続学習

クラス増分学習における従来の性能指標である平均タスク精度は、実際の性能を正確に捉えられないことが示された。そこで、最小増分クラス精度(MICA)という新しい指標を提案し、これにより公平な方法評価と品質管理に適した指標を得ることができる。

C-Flatは、継続学習の課題に取り組むための効果的な最適化フレームワークである。C-Flatは、さまざまな継続学習手法に適用可能であり、一貫して優れたパフォーマンスを発揮する。また、ヘッシアン固有値とトレースの分析により、C-Flatが平坦な極小値を誘導し、継続学習を強化することが実証された。

継続学習では、新しいタスクの学習が既存のタスクの性能に干渉することを防ぐ必要がある。本手法InfLoRAは、事前学習モデルのパラメータを低ランク空間に射影することで、新旧タスクの干渉を排除し、安定性と可塑性のバランスを取る。

About

Products

Resources