이 논문은 얼굴 스푸핑 방지(FAS) 문제에 대한 새로운 관점을 제시한다. 기존 도메인 일반화(DG) FAS 방법들은 학습 시 도메인 불변 특징을 학습하는 데 초점을 맞추지만, 이는 실제 환경과 크게 다른 데이터에 대한 일반화 성능을 보장하지 못한다.
저자들은 테스트 데이터가 모델의 일반화 성능 향상을 위한 중요한 자원이 될 수 있다는 통찰을 제시한다. 이를 위해 다음 두 가지 핵심 기술을 제안한다:
테스트 시간 스타일 투영(TTSP): 테스트 데이터의 스타일을 학습된 스타일 기저에 투영하여 알려진 소스 도메인 공간으로 매핑한다.
다양한 스타일 변화 시뮬레이션(DSSS): 학습 가능한 스타일 기저를 활용하여 다양한 스타일 변화를 합성하고, 이를 통해 스타일 다양성과 콘텐츠 일관성을 보장한다.
제안 방법은 테스트 시간 도메인 일반화(TTDG)를 실현하며, 모델 업데이트 없이 테스트 데이터를 활용하여 FAS 모델의 일반화 성능을 향상시킬 수 있다. 실험 결과, 제안 방법이 다양한 벤치마크에서 최신 기술 대비 우수한 성능을 보임을 확인했다.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Qianyu Zhou,... klokken arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19334.pdfDypere Spørsmål