Core Concepts
クラス増分学習の初期フェーズにおいて、各クラスの特徴表現を均一に散らばるように正則化することで、後続のクラス増分学習の性能を大幅に向上させることができる。
Abstract
本研究では、クラス増分学習(CIL)の初期フェーズにおける特徴表現の改善に着目している。
まず、CIL学習器に対して、初期フェーズでオラクルモデルの特徴表現と同様になるよう正則化を加えると、後続のCIL性能が大幅に向上することを実験的に示した。
この結果を受けて、オラクルモデルとナイーブに学習したCIL学習器の初期フェーズの特徴表現の違いを分析した。
具体的には、各クラスの特徴表現の共分散行列の固有値分析を行い、オラクルモデルでは各クラスの特徴表現がより一様に散らばっていることを発見した。
この発見に基づき、各クラスの特徴表現の相関行列のフロベニウスノルムを最小化するクラス単位の正則化項(CwD)を提案した。
CwDを既存のCIL手法に組み込むことで、様々なベンチマークデータセットにおいて1%から3%の性能向上を達成した。
さらに、初期フェーズのクラス数、エクセンプラの数、CwDの正則化係数などの要因がCwDの有効性に与える影響についても分析を行った。
Stats
クラス増分学習の初期フェーズにおいて、オラクルモデルと比べてナイーブに学習したモデルの各クラスの特徴表現は、上位の固有値が支配的になる傾向がある。
クラス数が多いほど、各クラスの特徴表現の上位固有値の支配性は低下する。
Quotes
各クラスの特徴表現の相関行列のフロベニウスノルムを最小化することで、各クラスの特徴表現を一様に散らばらせることができる。