Core Concepts
現在の評価プロトコルには、テストデータ情報漏洩のリスクが存在し、より正確な評価を行うために修正が必要です。
Abstract
ドメイン一般化は、異なるトレーニングドメインから学習した共通知識を活用して未知のテストドメインに汎化することを目指す。
現在の評価プロトコルには、ImageNetでの教師付き事前学習やオラクルモデル選択によるテストデータ情報漏洩のリスクがある。
提案された修正では、自己教師付き事前学習やゼロからトレーニングすることを採用し、複数のテストドメインを使用することが含まれている。
新しいリーダーボードも導入され、将来の研究を促進します。
1. 導入
伝統的な機械学習アルゴリズムはIID仮定に依存しており、実際の環境ではテスト分布が異なることが多い。
最近ではIID仮定が成立しないOut-of-Distribution(OOD)一般化問題への関心が高まっている。
2. ドメイン一般化ベンチマークデータセット
PACS、VLCS、OfficeHomeなど小規模なデータセットでアルゴリズムが主に評価されている。
3. プレトレーニング方法とテストドメインパフォーマンス
ImageNetで教師付き事前学習を使用するLPとFTパラダイムを比較し、LPがFTよりも優れた性能を示す場合があることを示唆しています。
4. オラクルモデル選択と情報漏洩リスク
オラクルモデル選択はテストデータ情報漏洩の可能性を持ちます。複数のテストドメインでアルゴリズムを評価することでこの問題を軽減できます。
5. 新しいリーダーボード結果
自己教師付き事前学習やゼロからトレーニングすることで改善された新しいリーダーボード結果が提示されています。
Stats
Domain generalization aims to solve the challenge of Out-of-Distribution (OOD) generalization.
ImageNet supervised pretrained weights may lead to test data information leakage.
LP outperforms FT in some settings, indicating potential test data information leakage.