데이터 변환을 통해 분포 변화를 모델링하여 Out-of-Distribution 일반화를 위한 새로운 학습 규칙과 알고리즘 축소를 제시하고, 이러한 방법들이 다양한 변환에서 균일하게 성능이 좋은 예측 모델을 학습하는 데 효과적임을 보여줍니다.
Training machine learning models that are robust to distribution shifts can be achieved by learning predictors invariant to data transformations, offering theoretical guarantees and a game-theoretic perspective on distribution shift.
사전 훈련된 모델의 OOD 일반화 능력은 훈련 데이터의 다양성, 특히 의미론적 클래스 수, 증강 사용, 고해상도 이미지 사용에 크게 좌우된다.
事前学習済み深層ニューラルネットワークの Out-of-Distribution 汎化能力は、モデルのアーキテクチャや学習データの性質、特にデータセットの多様性(クラス数、解像度、水増しの有無)に大きく影響を受ける。
The "tunnel effect," where deeper layers of overparameterized deep neural networks hinder out-of-distribution generalization, is not universal and can be mitigated by increasing the diversity of training data, particularly through higher image resolutions, augmentations, and a larger number of classes.
본 논문에서는 훈련 데이터와 다른 다양한 테스트 데이터 분포에 대한 모델의 일반화 성능을 향상시키기 위해 균일한 데이터 분포를 사용한 훈련, 점진적 미세 조정, 그리고 데이터 재조정 기법의 효과를 이론적 및 실험적으로 검증합니다.
Training machine learning models on uniformly distributed data is optimal for achieving robust performance across diverse, unseen test distributions, and rebalancing techniques can help mitigate the negative impact of non-uniform training data on out-of-distribution generalization.
분포 변화 유형에 따라 최적의 성능을 내는 알고리즘이 다르기 때문에, 데이터 세트의 특성을 기반으로 OOD 일반화에 가장 적합한 알고리즘을 자동으로 선택하는 방법이 중요하다.
Choosing the right machine learning algorithm for a given dataset is crucial for achieving good out-of-distribution (OOD) generalization, and this selection process can be learned.
The core message of this paper is that both domain-related and class-shared features act as confounders that undermine the out-of-distribution generalization performance of deep learning models. The authors propose the DICS model to extract domain-invariant and class-specific features as the basis for prediction, which mitigates the effects of these confounders and enhances the model's ability to generalize to unseen target domains.