이 연구는 청각-시각 동기화 평가를 위한 새로운 지표 PEAVS를 제안한다.
먼저, 100시간 이상의 대규모 인간 주석 데이터셋을 구축하였다. 이 데이터셋에는 9가지 유형의 동기화 오류와 이에 대한 사용자 인식이 포함되어 있다.
이를 바탕으로 PEAVS 지표를 개발하였다. PEAVS는 청각-시각 동기화 품질을 5점 척도로 평가할 수 있는 자동 지표이다. 인간 평가 점수와의 상관관계 분석 결과, PEAVS는 0.79의 높은 상관관계를 보였다. 이는 PEAVS가 실제 사용자 인식을 잘 반영하고 있음을 의미한다.
또한 PEAVS는 기존 Fréchet 기반 지표 대비 50% 향상된 성능을 보였다. 이를 통해 PEAVS의 효과성이 입증되었다.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Lucas Goncal... às arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07336.pdfPerguntas Mais Profundas