이 연구는 비디오 질문 답변 문제에서 불충분한 레이블 문제를 다룹니다. 기존 연구들은 이 문제를 무시하고 모든 레이블되지 않은 답변을 부정적 레이블로 취급했지만, 이는 일반화 능력을 제한합니다.
이 연구에서는 RADI라는 순위 증류 프레임워크를 제안합니다. RADI는 불완전한 레이블로 훈련된 교사 모델의 순위 정보를 활용하여 학생 모델의 성능을 향상시킵니다. 이를 통해 레이블 정보를 보강할 수 있습니다.
또한 RADI는 두 가지 강건한 순위 증류 방법을 제안합니다:
실험 결과, 제안된 RADI 방법들은 다양한 비디오 질문 답변 벤치마크에서 기존 최신 방법들을 뛰어넘는 성능을 보였습니다. 또한 불충분한 레이블 문제에서도 효과적인 것으로 나타났습니다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Tianming Lia... a las arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14430.pdfConsultas más profundas