本論文では、連続学習を非凸な有限和最適化問題として定式化し、その収束性を理論的に分析している。
主な内容は以下の通り:
連続学習の問題設定を非凸有限和最適化問題として定式化し、過去タスクと現在タスクの目的関数を分離して考える。
過去タスクの目的関数に対する収束性を分析し、過去タスクの忘却を表す「catastrophic forgetting term」を導入する。この項が大きいと、過去タスクの性能が劣化する。
提案手法「NCCL」では、この「catastrophic forgetting term」を抑制するために、過去タスクと現在タスクの学習率を適応的に調整する。
理論的な収束性の保証と、画像分類タスクでの実験結果から、提案手法NCCLが既存手法に比べて過去タスクの忘却を大幅に抑制できることを示す。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Seungyub Han... at arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.05555.pdfDeeper Inquiries