이 논문은 테스트 시간 적응을 위한 새로운 접근법인 일반화된 확산 적응(GDA)을 제안한다. GDA는 모델 가중치를 수정하거나 입력에 추가 벡터를 사용하지 않고도 OOD 샘플을 소스 도메인으로 이동시킬 수 있다.
GDA의 핵심 아이디어는 확산 모델에 새로운 구조적 가이드를 적용하는 것이다. 이 가이드는 주변 엔트로피 손실, 스타일 손실, 콘텐츠 보존 손실로 구성된다. 주변 엔트로피 손실은 생성된 샘플의 출력 행동 일관성을 보장하고, 스타일 손실은 CLIP 모델을 사용하여 이미지 스타일을 전송하며, 콘텐츠 보존 손실은 패치 단위 대비 손실을 사용하여 콘텐츠 정보를 유지한다.
실험 결과, GDA는 ImageNet-C, ImageNet-Rendition, ImageNet-Sketch, ImageNet-Stylized 등 다양한 OOD 벤치마크에서 기존 확산 기반 적응 방법보다 우수한 성능을 보였다. 특히 ImageNet-C에서 4.4%~5.02%, Rendition, Sketch, Stylized 벤치마크에서 2.5%~7.4%의 분류 정확도 향상을 달성했다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Yun-Yun Tsai... a las arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00095.pdfConsultas más profundas