Core Concepts
Decompose-and-Compose (DaC) method improves robustness to correlation shift by combining image elements.
Abstract
画像の要素を組み合わせることで相関シフトに対する堅牢性を向上させるDecompose-and-Compose(DaC)メソッドが提案されました。この方法は、標準的なERMモデルによって訓練された画像の部分を分解し、最も注目されている部分を見つけることで、スパリアス相関と多様性シフトを軽減します。新しいデータポイントを生成して少数派グループを強調することで、トレーニングデータのグループバランスを実現します。
Stats
モデルは通常、画像の因果関係または非因果関係の部分により注目します。
データセットにおける選択されたサンプルの割合が増加すると、基本モデルが高い損失を持つサンプルにより傾向があります。
Quotes
"Based on our observations, models trained with ERM usually highly attend to either the causal components or the components having a high spurious correlation with the label."
"In most realistic datasets, due to the lower correlation of non-causal parts with the label compared to the causal ones, ERM usually shows causal attention."
"Our method outperforms other methods that don’t require group label during training with a large margin in both mean and worst group accuracy metrics on Waterbirds, Dominoes, and Metahift datasets."