核心概念
機械学習システムの連続的な学習能力を向上させるための新しいベンチマークの導入とその重要性に焦点を当てる。
摘要
無限dSpritesは、連続的な分類および分離ベンチマークを作成するための効果的なツールであり、長期間にわたってすべての主要なタイプの連続学習方法がこの単純なベンチマークで劣化することを示しています。このアプローチは、記憶と一般化を分離し、破壊的な勾配更新を最小限に抑えることで、時間と共に知識を効率的に蓄積します。さらに、この手法はオープンセット分類やワンショット汎化を強調し、数百のタスクで持続的な学習を可能にします。
統計資料
無限dSpritesは500個の分類タスクから成るベンチマークである。
画像データセットは各形状が4つの変動因子(位置、方向、スケール)ごとに5つの値で表示される。
データ生成プロセスでは形状ラベルが使用され、不変表現学習と等価表現学習が比較されている。
オンライン学習シナリオではDCLは時間と共に改善されている。
引述
"Given a finite modelling capacity and an arbitrarily long learning horizon, efficient learning requires memorizing class-specific information and accumulating knowledge about general mechanisms."
"Inspired by this observation, we propose a novel paradigm for continual learning centered around the idea of separating memorization from generalization."
"Our approach sets the stage for continual learning over hundreds of tasks with explicit control over memorization and forgetting."