核心概念
비전-언어 모델의 테스트 시간 적응을 위해 학습이 필요 없는 동적 어댑터를 설계하여 효과적이고 효율적인 적응을 달성한다.
要約
이 논문은 비전-언어 모델의 테스트 시간 적응을 위한 효율적인 방법을 제안한다. 기존의 테스트 시간 프롬프트 튜닝 방법은 계산 집약적이어서 실제 환경에 적용하기 어려웠다. 이에 저자들은 학습이 필요 없는 동적 어댑터(TDA)를 설계했다. TDA는 테스트 데이터의 특징과 유사한 가짜 레이블을 동적으로 저장하는 키-값 캐시를 구축한다. 이를 통해 테스트 데이터에 점진적으로 적응할 수 있다. 또한 TDA는 불확실한 가짜 레이블의 영향을 줄이기 위해 음의 가짜 레이블링을 도입했다. 실험 결과, TDA는 기존 방법보다 정확도와 효율성이 크게 향상되었다.
統計
테스트 데이터 스트림에서 점진적으로 가짜 레이블을 수집하여 캐시에 저장한다.
가짜 레이블의 엔트로피가 낮은 경우에만 캐시에 추가한다.
캐시의 샷 용량(클래스당 최대 쌍 수)을 제한하여 고품질의 가짜 레이블을 유지한다.
불확실한 예측에 대해 음의 가짜 레이블을 생성하여 캐시에 저장한다.
引用
"TDA는 학습이 필요 없는 동적 어댑터로, 백프로퍼게이션 없이도 효과적이고 효율적인 테스트 시간 적응을 가능하게 한다."
"TDA는 점진적인 가짜 레이블 개선과 음의 가짜 레이블링을 통해 노이즈가 있는 가짜 레이블의 영향을 줄이고 테스트 데이터에 잘 일반화할 수 있다."