Rethinking the Evaluation Protocol of Domain Generalization
Thống kê
Domain generalization aims to solve the challenge of Out-of-Distribution (OOD) generalization.
ImageNet supervised pretrained weights may lead to test data information leakage.
LP outperforms FT in some settings, indicating potential test data information leakage.
反論意見:この記事では、「ImageNet」に基づく監督付き事前学習やオラクルモデル選択によってテストデータ情報漏洩のリスクが生じている可能性が指摘されています。しかし、実際には「ImageNet」以外の大規模かつ多様な事前学習セットや異種タスク間で共通した特徴量抽出方法も考慮すべきだという立場も存在します。さらに、「Oracle Model Selection」自体が有用であり、効果的なモデル選択手法である可能性も否定されていません。