CLIP 모델의 강건한 파인튜닝을 위한 랜덤 텍스트 가이드 기반 Lipsum-FT 기법

Lipsum-FT는 비전-언어 모델의 파인튜닝 과정에서 언어 모델 출력을 활용하여 제로샷 모델과의 연결을 유지함으로써 분포 변화에 강건한 성능을 달성한다.