Core Concepts
본 연구는 얼굴 표정을 보존하면서 정면 뷰로 합성하는 새로운 심층 학습 접근법을 제안한다. 이를 위해 동작 정규화 모델과 동작 워핑 모델을 사용하여 얼굴 표정 패턴을 효과적으로 재구성한다.
Abstract
이 논문은 얼굴 표정 인식(FER) 시스템의 성능 저하 문제를 해결하기 위해 새로운 심층 학습 접근법인 eMotion-GAN을 제안한다. 이 모델은 동작 정규화와 동작 워핑의 두 단계로 구성된다.
동작 정규화 단계에서는 GAN 기반 모델을 사용하여 입력 비정면 얼굴의 동작 패턴에서 머리 움직임으로 인한 노이즈를 제거하고 표정 관련 동작만 추출한다. 이렇게 추출된 정제된 동작 패턴은 중립 정면 얼굴에 적용되어 표정이 보존된 정면 얼굴을 생성한다.
동작 워핑 단계에서는 정제된 동작 패턴을 중립 얼굴에 적용하여 표정이 보존된 정면 얼굴을 합성한다. 이 과정에서 사전 학습된 FER 모델을 활용하여 표정 보존 여부를 확인한다.
실험 결과, 제안 모델은 기존 방식에 비해 정면 및 비정면 얼굴에서 FER 성능을 크게 향상시킬 수 있음을 보여준다. 특히 작은 자세 변화에서 최대 +5%, 큰 자세 변화에서 최대 +20%의 성능 향상을 달성했다.
Stats
작은 자세 변화에서 최대 +5%의 FER 성능 향상
큰 자세 변화에서 최대 +20%의 FER 성능 향상
Quotes
"본 연구는 얼굴 표정을 보존하면서 정면 뷰로 합성하는 새로운 심층 학습 접근법을 제안한다."
"실험 결과, 제안 모델은 기존 방식에 비해 정면 및 비정면 얼굴에서 FER 성능을 크게 향상시킬 수 있음을 보여준다."