Основные понятия
본 연구는 SemEval-2024 Task 4에 참여하여 밈의 텍스트와 시각적 콘텐츠를 활용하여 설득 기법을 계층적으로 분류하는 방법을 제안한다. 이를 위해 계층적 임베딩 모델과 클래스 정의 기반 다중 작업 학습 모델을 활용하여 정확도와 포괄성을 높였다.
Аннотация
밈은 온라인 허위 정보 캠페인에서 널리 사용되는 콘텐츠 유형이다. 이는 사용자에게 쉽게 전달될 수 있어 효과적이다.
밈에는 인과 관계 단순화, 명칭 붙이기, 비방 등 다양한 수사적, 심리적 기법이 사용된다.
SemEval-2024 Task 4는 밈의 설득 기법을 식별하는 3가지 하위 과제로 구성된다:
밈의 텍스트 콘텐츠만 사용한 계층적 다중 레이블 분류
밈의 텍스트와 시각적 콘텐츠를 모두 사용한 계층적 다중 레이블 분류
밈의 텍스트와 시각적 콘텐츠를 사용한 설득 기법 유무 이진 분류
제안 시스템은 HypEmo와 클래스 정의 기반 다중 작업 학습 모델을 활용하여 텍스트 콘텐츠를 분류하고, CLIP 모델을 통해 시각적 특징을 추출하여 결합한다.
실험 결과, 제안 시스템은 각 하위 과제에서 계층적 F1 점수 0.60, 0.67, 0.48을 달성했다.
Статистика
밈에 사용된 설득 기법 중 "Smears"는 아랍어, 불가리아어, 북마케도니아어 데이터에서 각각 0.67, 0.84, 0.90의 F1 점수를 보였다.
"Loaded Language"는 아랍어, 불가리아어, 북마케도니아어에서 각각 0.41, 0.62, 0.37의 F1 점수를 보였다.
"Name calling/Labeling"은 아랍어, 불가리아어, 북마케도니아어에서 각각 0.44, 0.45, 0.49의 F1 점수를 보였다.