ニューラルネットワークが連続的にトレーニングされる際、過去データが利用できなくなると、以前の知識を忘却してしまう問題が発生する。最近導入された多くの手法も、高次元データや厳格な計算制約を持つ複雑な現実世界アプリケーションでの継続的学習は依然として困難である。提案された技術はしばしば複雑であり、多数のハイパーパラメータによって制御され、元々のシナリオ/データセットから異なるシナリオ/データセットへ移植することが困難である。
TPCは、小さなデータチャンクを頻繁に更新する複雑なシナリオに適用可能なシンプルかつ効率的なCLアプローチ。TPCは3つのフェーズに分かれており、各経験(エポック数全体を分割)ごとに学んだ内容をコントロールし、クラスバイアスと以前の知識忘却を同時に制御することを目指している。
新規クラス(以前出会ったことがないもの)向けブートストラップ。既知クラスよりも強力ではない新規クラスが保護された環境で育成されます。
新規クラスが一定程度成長し、これまで見てきたすべてのクラスが同時に更新されます。しかし、ミニバッチ内で重要性不均衡が存在する場合は保護措置が必要です。
最終的な均衡点へ到達するために行われる最終的な巩固。すべてのこれまで見たクラスに対してサンプルバランシングが施されます。
TPCは競合する既存手法と比較して優れた精度を達成しました。特にCore50 41/10-1では非常に安定した精度を示しました。AR1およびDER++もTPCから大きく逸れておらず、BiCは少数クラス含む大量体験では苦戦しています。
To Another Language
from source content
arxiv.org
Djupare frågor