本論文は、自己教師学習モデルの継続的学習における安定性と可塑性の分析と、それに基づいた新しい手法「Branch-Tuning」を提案している。
分析では、畳み込み層とバッチ正規化層がそれぞれ安定性と可塑性に重要な役割を果たすことを明らかにした。
Branch-Tuningは、新しいデータを学習する際に、既存の畳み込み層とバッチ正規化層を固定したまま、新しい畳み込み層のブランチを追加して学習する。その後、ブランチをオリジナルの畳み込み層にパラメータ化することで、モデル構造を変更せずに新しい知識を獲得する。
この手法は、既存の自己教師学習手法に簡単に適用でき、過去のモデルや学習データを保持する必要がないため、実用的な継続的学習を実現する。
実験では、クラス増分学習、データ増分学習、実世界データへの転移学習の各設定で、Branch-Tuningが従来手法を大きく上回る性能を示した。特に、クラス増分学習では最大7.5%、実世界データ転移では最大4.3%の精度向上を達成した。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問