다중 모달 대규모 언어 모델은 강력한 대규모 언어 모델을 기반으로 다양한 모달리티를 활용하여 새로운 능력을 발휘할 수 있는 새로운 연구 분야이다.
본 연구는 기존 정적 미세 조정 방식의 한계를 극복하기 위해 동적 시각 및 언어 전문가를 활용하여 다중 모달 대규모 언어 모델의 성능을 향상시킨다.
