실제 사용자 의견 점수를 기반으로 한 청각-시각 동기화의 지각적 평가

최근 청각-시각 생성 모델링의 발전에도 불구하고, 이를 평가할 수 있는 적절한 지표가 부족한 실정이다. 이 연구에서는 100시간 이상의 대규모 인간 주석 데이터셋을 구축하고, 이를 바탕으로 청각-시각 동기화 품질을 5점 척도로 평가할 수 있는 PEAVS 지표를 개발하였다. PEAVS는 인간 평가 점수와 0.79의 높은 상관관계를 보여, 실제 사용자 인식을 잘 반영하는 것으로 확인되었다.