본 연구는 특정 태스크에 의존하지 않고 범용적으로 사용할 수 있는 압축된 비전-언어 모델을 개발하는 것을 목표로 한다. 이를 위해 모델의 정보 흐름과 다중 모달리티 특성을 고려한 압축 기법을 제안한다.
비전-언어 모델의 성능 저하를 해결하기 위해 크로스-모달리티 적응과 SparseLoRA 미세조정을 통해 압축된 모델의 성능을 복구한다.
