本論文では、オンラインでの継続学習における遅延ラベルの問題を提起している。ラベルの取得には時間がかかるため、新しいデータが入力されてもすぐにラベルが得られないという課題がある。
実験では、4つの大規模なデータセットを用いて、遅延ラベルの影響を検証している。遅延が大きくなるほど、単純にラベル付きデータのみを使って学習するナイーブな手法の性能が大きく低下することが示された。
そこで、未ラベルデータを活用する手法として、擬似ラベリング、自己教師あり半教師あり学習、テストタイム適応の手法を検討したが、これらの手法も計算コスト制約の下では性能が向上しないことが分かった。
そこで著者らは、重要度重み付きメモリサンプリング(IWMS)と呼ばれる手法を提案した。IWMSは、メモリバッファ内の過去のラベル付きサンプルの中から、最新の未ラベルデータに最も似たものを選択して学習に使うというものである。
実験の結果、IWMSは他の手法に比べて遅延ラベルの影響を最小限に抑えることができ、ラベルが即座に得られる場合の性能に迫る結果を示した。特に、大規模なデータセットでその効果が顕著であった。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問