ABAW 2024 대회에 SUN 팀이 기여한 오디오-비주얼 감정 강도 추정 및 표현 인식

Core Concepts

SUN 팀은 ABAW 2024 대회에서 오디오-비주얼 감정 강도 추정 및 표현 인식 문제를 해결하기 위한 딥러닝 기반 접근법을 제안했다.

Abstract

SUN 팀은 ABAW 2024 대회에 참여하여 오디오-비주얼 감정 인식 문제를 해결하기 위한 딥러닝 기반 접근법을 제안했다.

오디오 모달리티의 경우, 공개 차원 감정 모델(PDEM)을 기반으로 한 3가지 모델을 개발했다. 이 모델들은 데이터 증강, 배경 소음 제거 등의 기법을 활용하여 성능을 향상시켰다.

비주얼 모달리티의 경우, 정적 모델(EfficientNet, ViT)과 동적 모델(Transformer 기반)을 개발했다. 정적 모델은 사전 학습 데이터셋과 AffWild2 데이터셋에서 fine-tuning되었고, 동적 모델은 정적 모델의 특징을 활용하여 시간적 맥락을 모델링했다.

오디오와 비주얼 모달리티의 결과를 결합하기 위해 의사결정 기반 융합 기법(Dirichlet 기반 가중치 융합, 랜덤 포레스트 기반 융합)을 시도했다. 이를 통해 개별 모달리티 모델들의 성능을 향상시킬 수 있었다.

실험 결과, 제안된 접근법은 AffWild2 데이터셋에서 경쟁력 있는 성능을 보였다. 특히 동적 비주얼 모델이 우수한 성능을 달성했다. 하지만 오디오-비주얼 융합 모델의 성능이 개별 모달리티 모델을 완전히 능가하지는 못했다.

향후 연구에서는 배경 소리, 참여자의 자세 및 제스처, 언어학적 정보 등 추가적인 컨텍스트 정보를 활용하는 새로운 융합 전략을 탐구할 계획이다. 이를 통해 인간-컴퓨터 상호작용 향상 및 자연스러운 환경에서의 컴퓨터 시스템 및 로봇 활용 등에 기여할 수 있을 것으로 기대된다.

Stats

오디오 모델 AudioModelV3는 EXPR 과제에서 F1 0.347, 정확도 0.350, 정밀도 0.376을 달성했다.
오디오 모델 AudioModelV3는 VA 과제에서 arousal CCC 0.400, valence CCC 0.290, 평균 CCC 0.345를 달성했다.
비주얼 모델 EfficientNet-B1은 VA 과제에서 arousal CCC 0.626, valence CCC 0.523, 평균 CCC 0.574를 달성했다.

Quotes

"감정은 인간 의사소통에 중심적인 역할을 하므로, 자동 감정 인식에 대한 관심이 지난 20년간 증가해왔다."
"실험 결과, 제안된 접근법은 AffWild2 데이터셋에서 경쟁력 있는 성능을 보였다. 특히 동적 비주얼 모델이 우수한 성능을 달성했다."

Key Insights Distilled From

SUN Team's Contribution to ABAW 2024 Competition

by Denis Dresvy... at arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12609.pdf

Deeper Inquiries

감정 인식 기술의 발전이 인간-컴퓨터 상호작용 향상에 어떤 기여를 할 수 있을까?

감정 인식 기술의 발전은 인간-컴퓨터 상호작용을 혁신적으로 개선할 수 있는 다양한 방법을 제공할 수 있습니다. 먼저, 감정 인식 기술을 통해 컴퓨터 시스템이 사용자의 감정을 식별하고 이해할 수 있게 됨으로써 사용자와의 상호작용이 더욱 자연스러워질 수 있습니다. 이는 음성 명령을 통해 사용자의 감정을 파악하고 그에 맞게 반응하는 음성 인식 기술이나 감정을 인식하여 적절한 피드백을 제공하는 챗봇 등을 통해 구현될 수 있습니다. 또한, 감정 인식 기술은 사용자의 감정 상태에 따라 서비스를 개인화하거나 사용자 경험을 최적화하는 데 활용될 수 있습니다. 이를 통해 사용자들은 보다 편리하고 맞춤화된 서비스를 경험할 수 있게 될 것입니다.

감정 인식 기술이 향후 로봇 활용에 어떤 영향을 미칠 수 있을까?

감정 인식 기술이 로봇 기술에 통합되면 로봇의 상호작용 및 서비스 분야에서 혁신적인 변화를 가져올 수 있습니다. 감정 인식 기술을 통해 로봇이 주변 환경과 상호작용하는 데 더 많은 인간적인 측면을 부여할 수 있습니다. 예를 들어, 감정을 인식하는 로봇은 사용자의 감정을 파악하고 적절한 반응을 제공하여 사용자와 보다 자연스러운 대화를 할 수 있을 것입니다. 또한, 로봇이 감정을 이해하고 적절히 대응함으로써 사용자와의 상호작용이 더욱 효과적이고 유의미한 수준으로 발전할 수 있습니다. 이를 통해 로봇은 보다 친밀하고 사용자 중심의 서비스를 제공할 수 있게 될 것입니다.

오디오-비주얼 융합 모델의 성능이 개별 모달리티 모델을 완전히 능가하지 못한 이유는 무엇일까?

오디오-비주얼 융합 모델이 개별 모달리티 모델을 완전히 능가하지 못한 이유는 다양한 요인으로 설명할 수 있습니다. 먼저, 각 모달리티의 특성을 효과적으로 결합하고 이를 최적화하는 것이 어려울 수 있습니다. 각 모달리티는 서로 다른 정보를 제공하며, 이를 효과적으로 통합하고 상호보완하는 것은 복잡한 작업일 수 있습니다. 또한, 데이터의 불균형이나 잡음 등이 융합 모델의 성능에 영향을 미칠 수 있습니다. 각 모달리티의 특성을 적절히 고려하고 데이터의 품질을 보장하는 것이 융합 모델의 성능 향상에 중요한 요소가 될 것입니다. 추가적으로, 모델의 구조나 학습 방법 등도 융합 모델의 성능에 영향을 미칠 수 있으며, 이러한 측면들을 고려하여 모델을 개선하는 것이 필요할 것입니다.