이 논문은 얼굴 표정 인식(FER) 문제를 해결하기 위한 혁신적인 접근법을 제안합니다. 핵심 내용은 다음과 같습니다:
MAE-Face 사전 학습 모델을 활용하여 얼굴 특징과 감정 표현을 효과적으로 포착합니다. 이를 위해 Aff-wild2 데이터셋에 fine-tuning을 수행합니다.
자기 주의 집중 메커니즘과 지역 주의 집중 메커니즘을 융합한 네트워크를 제안합니다. 이를 통해 복잡한 감정 상태를 보다 정확하게 인식할 수 있습니다.
데이터셋의 클래스 불균형 문제를 해결하기 위해 가중치 교차 엔트로피 손실 함수를 사용합니다.
얼굴 표정의 시간적 연속성을 고려하여 후처리 과정을 거칩니다.
실험 결과, 제안된 방법은 Aff-wild2 데이터셋에서 우수한 성능을 보였습니다. 이는 MAE-Face 사전 학습 모델과 주의 집중 융합 기법이 효과적으로 작용했음을 보여줍니다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Bach Nguyen-... lúc arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13039.pdfYêu cầu sâu hơn