Core Concepts
제한된 소스 지식 하에서 클래스별 Wasserstein 불확실성 집합을 활용하여 최악의 성능을 최소화하는 강건한 분류기를 학습하고, 최적 수송을 이용한 테스트 시간 적응을 통해 미지의 타겟 도메인에 대한 적응적 추론을 수행한다.
Abstract
이 연구는 도메인 일반화 문제를 다룹니다. 도메인 일반화는 여러 소스 도메인의 지식을 활용하여 미지의 타겟 도메인에서 잘 동작하는 범용 모델을 학습하는 것을 목표로 합니다.
저자들은 소스 도메인의 레이블 샘플이 제한된 상황에서 기존 접근법이 충분히 강건하지 않다는 점에 주목했습니다. 이를 해결하기 위해 Wasserstein 분포 강건 최적화 개념에 기반한 새로운 도메인 일반화 프레임워크인 WDRDG를 제안했습니다.
WDRDG는 다음과 같은 핵심 구성요소를 가집니다:
- 클래스별 Wasserstein 불확실성 집합: 각 클래스의 조건부 분포 변화를 모델링하기 위해 클래스별 Wasserstein 불확실성 집합을 구성합니다. 이를 통해 클래스간 분포 변화의 차이를 명시적으로 다룰 수 있습니다.
- 강건성과 식별성 균형: 불확실성 집합의 크기와 클래스간 식별성을 균형있게 제어하는 추가 제약을 도입했습니다.
- 분포 강건 최적화: 클래스별 Wasserstein 불확실성 집합 내에서 최악의 성능을 최소화하는 분류기를 학습합니다.
- 테스트 시간 적응: 최적 수송을 활용하여 타겟 도메인 샘플과 소스 도메인 간의 관계를 정량화하고, 이를 통해 타겟 데이터에 대한 적응적 추론을 수행합니다.
실험 결과, WDRDG는 Rotated MNIST, PACS, VLCS 데이터셋에서 강건성과 식별성을 효과적으로 균형 잡는 성능을 보였습니다. 특히 소스 도메인의 레이블 샘플이 제한된 상황에서 기존 방법들에 비해 우수한 일반화 성능을 달성했습니다.
Stats
소스 도메인의 레이블 샘플 수가 적을수록 제안 방법의 성능 향상이 두드러짐
VLCS 데이터셋에서 타겟 도메인이 Caltech-101일 때, 샘플 수 2개/클래스일 때 제안 방법이 기존 방법 대비 46.79% 높은 성능 달성
PACS 데이터셋에서 타겟 도메인이 Art Painting일 때, 샘플 수 2개/클래스일 때 제안 방법이 기존 방법 대비 20.95% 높은 성능 달성
Rotated MNIST 데이터셋에서 타겟 도메인이 r0일 때, 샘플 수 2개/클래스일 때 제안 방법이 기존 방법 대비 20.71% 높은 성능 달성
Quotes
"제한된 소스 지식 하에서 기존 접근법은 충분히 강건하지 않다."
"클래스별 Wasserstein 불확실성 집합을 활용하여 클래스간 분포 변화의 차이를 명시적으로 다룰 수 있다."
"최적 수송을 이용한 테스트 시간 적응을 통해 타겟 도메인 샘플과 소스 도메인 간의 관계를 정량화하고 적응적 추론을 수행할 수 있다."