แนวคิดหลัก
실험 시 누락된 모달리티에 대처하기 위해 사전 학습된 모델을 실시간으로 적응시키는 새로운 방법인 MiDl을 제안한다.
บทคัดย่อ
이 논문은 실험 시 누락된 모달리티에 대처하는 새로운 방법을 제안한다. 기존 방법들은 모델을 완전히 재학습해야 했지만, 이 논문에서 제안하는 MiDl은 사전 학습된 모델을 실시간으로 적응시켜 누락된 모달리티에 강인한 성능을 보인다.
MiDl은 다음과 같은 특징을 가진다:
- 모달리티 누락에 강인한 모델을 만들기 위해 상호 정보량을 최소화한다.
- 원래 모델의 성능을 유지하기 위해 자기 증류 기법을 사용한다.
- 사전 학습된 모델의 구조, 학습 데이터셋, 누락된 모달리티 종류와 무관하게 동작한다.
- 실험 결과 Epic-Sounds와 Epic-Kitchens 데이터셋에서 각각 6%와 11%의 성능 향상을 보였다.
สถิติ
모달리티가 완전히 누락된 경우 Epic-Sounds에서 19.5%, Epic-Kitchens에서 29.5%의 정확도를 보였다.
모달리티가 75% 누락된 경우 Epic-Sounds에서 28.3%, Epic-Kitchens에서 37.9%의 정확도를 보였다.
MiDl을 적용하면 모달리티가 75% 누락된 경우 Epic-Sounds에서 29.9%, Epic-Kitchens에서 44.9%의 정확도를 보였다.
คำพูด
"실험 시 누락된 모달리티는 실제 응용 분야에서 자주 발생하는 문제이지만, 기존 방법들은 모델을 완전히 재학습해야 한다는 단점이 있다."
"MiDl은 사전 학습된 모델을 실시간으로 적응시켜 모달리티 누락에 강인한 성능을 보인다."