Core Concepts
도메인 간 차이로 인해 생성된 가짜 레이블의 노이즈 분포를 학습하여 실제 레이블 분포를 더 정확하게 추정할 수 있다.
Abstract
이 논문은 원본 데이터 없이 도메인 적응을 수행하는 상황에서 가짜 레이블의 노이즈 문제를 해결하는 새로운 접근법을 제안한다.
- 기존 방식은 가짜 레이블을 계속 업데이트하여 개선하는 것이었지만, 이 논문에서는 가짜 레이블의 노이즈 분포를 학습하여 실제 레이블 분포를 더 정확하게 추정하는 방식을 제안한다.
- 이를 위해 노이즈 전이 행렬을 학습하여 가짜 레이블의 오류를 모델링하고, 이를 활용해 실제 클래스 사후 확률을 더 정확하게 추정한다.
- 또한 소스 모델의 출력 정보를 활용하여 노이즈 전이 행렬 학습을 정규화하는 방식을 제안한다.
- 실험 결과, 제안 방식은 기존 방식 대비 VisDA, DomainNet, OfficeHome 데이터셋에서 새로운 최고 성능을 달성했다.
Stats
가짜 레이블의 노이즈 분포를 학습하여 실제 레이블 분포를 더 정확하게 추정할 수 있다.
소스 모델의 출력 정보를 활용하여 노이즈 전이 행렬 학습을 정규화할 수 있다.
VisDA, DomainNet, OfficeHome 데이터셋에서 기존 방식 대비 새로운 최고 성능을 달성했다.
Quotes
"We adopt an LLN perspective to approach SFDA using constant noisy labels that do not change during training."
"We introduce DCPL, a novel approach tailored for domain adaptation settings, in which a noise transition matrix is learned to capture the label corruption of the pseudo-labels, thus enabling a better true class-posterior estimation."
"We propose integrating knowledge derived from the source model into the noise transition learning to achieve a more accurate prediction of the underlying true label distribution."