Core Concepts
본 연구는 전문가 혼합 모듈을 활용하여 일반화되고 매개변수 효율적인 얼굴 위조 탐지 모델을 제안한다. 이를 통해 변환기의 표현력과 합성곱 신경망의 지역 특징을 동시에 활용하여 성능을 향상시킨다.
Abstract
본 연구는 얼굴 위조 탐지를 위한 일반화되고 매개변수 효율적인 접근법인 MoE-FFD를 제안한다. MoE-FFD는 ImageNet 가중치가 고정된 ViT 백본에 경량 LoRA 및 Adapter 레이어를 통합한다. 이를 통해 위조 특징을 효과적으로 학습할 수 있다. 또한 MoE 모듈을 설계하여 입력 얼굴에 대한 최적의 LoRA 및 Adapter 전문가를 동적으로 선택한다. 이를 통해 성능 향상과 함께 매개변수 효율성도 달성한다.
실험 결과, MoE-FFD는 다양한 데이터셋과 조작 유형, 그리고 다양한 노이즈 환경에서 우수한 성능을 보였다. 또한 다양한 ViT 백본에 적용 가능하여 실제 응용에서의 활용도가 높다. 추가 분석을 통해 설계된 LoRA, Adapter, MoE 모듈의 효과를 검증하였다.
Stats
제안 모델 MoE-FFD는 가장 적은 활성화 매개변수로 CelebDF-v2 데이터셋에서 가장 높은 AUC 성능을 달성했다.
MoE-FFD는 기존 방법 대비 평균 AUC 성능을 2.86% 향상시켰다.
MoE-FFD는 다양한 노이즈 환경에서 기존 방법 대비 강건성이 크게 향상되었다.
Quotes
"MoE-FFD는 ImageNet 가중치가 고정된 ViT 백본에 경량 LoRA 및 Adapter 레이어를 통합하여 위조 특징을 효과적으로 학습할 수 있다."
"MoE 모듈을 설계하여 입력 얼굴에 대한 최적의 LoRA 및 Adapter 전문가를 동적으로 선택함으로써 성능 향상과 매개변수 효율성을 달성한다."