本論文は、深層学習モデルが連続学習を行う際に発生する「catastrophic forgetting」の問題に取り組んでいる。
具体的には以下の取り組みを行っている:
暗黙的正則化: 表現学習のための対比的表現学習(CRL)を補助タスクとして導入し、一般化可能な特徴を学習する。
明示的正則化: 分類器の出力空間を単位球面上に制限し、投影ヘッドの単位球面上の幾何構造と分類器の単位球面上の構造を整列させることで、弱い教師信号下での過剰適合を抑制する。
実験結果: 提案手法IMEX-Regは、既存の手法と比較して連続学習の性能を大幅に向上させ、自然および敵対的な攪乱に対するロバスト性も高いことを示している。また、タスクの最近性バイアスが小さく、よく較正された出力を生成することも確認されている。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Prashant Bha... às arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.18161.pdfPerguntas Mais Profundas