본 연구는 얼굴 위조 탐지를 위한 일반화되고 매개변수 효율적인 접근법인 MoE-FFD를 제안한다. MoE-FFD는 ImageNet 가중치가 고정된 ViT 백본에 경량 LoRA 및 Adapter 레이어를 통합한다. 이를 통해 위조 특징을 효과적으로 학습할 수 있다. 또한 MoE 모듈을 설계하여 입력 얼굴에 대한 최적의 LoRA 및 Adapter 전문가를 동적으로 선택한다. 이를 통해 성능 향상과 함께 매개변수 효율성도 달성한다.
실험 결과, MoE-FFD는 다양한 데이터셋과 조작 유형, 그리고 다양한 노이즈 환경에서 우수한 성능을 보였다. 또한 다양한 ViT 백본에 적용 가능하여 실제 응용에서의 활용도가 높다. 추가 분석을 통해 설계된 LoRA, Adapter, MoE 모듈의 효과를 검증하였다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Chenqi Kong,... om arxiv.org 04-15-2024
https://arxiv.org/pdf/2404.08452.pdfDiepere vragen