이 연구는 기반 모델(foundation model)의 성능을 정확하게 예측하는 방법을 제안한다. 기반 모델은 대규모 데이터로 사전 학습된 후 특정 작업을 위해 미세 조정되는 모델이다.
연구진은 단일 기반 모델에서 다양한 방식으로 모델 앙상블을 구축하고, 이 앙상블에서 동의-선상(agreement-on-the-line, AGL) 현상이 관찰되는지 분석했다. AGL은 모델의 in-distribution(ID) 성능과 out-of-distribution(OOD) 성능 간 선형 상관관계가 모델 간 예측 일치도와도 동일하게 나타나는 현상이다.
연구 결과, 단일 기반 모델에서 선형 헤드 초기화를 랜덤하게 하는 경우에만 AGL이 안정적으로 관찰되었다. 데이터 순서 변경이나 데이터 부분 집합 사용 등의 방법으로는 AGL이 관찰되지 않았다.
또한 서로 다른 기반 모델을 활용한 앙상블에서도 AGL이 관찰되었다. 이는 언어 모델 간에는 사전 학습 데이터 차이에도 불구하고 ID 대비 OOD 성능 선형 상관관계가 유사하게 나타나기 때문이다.
이를 통해 AGL 기반 성능 예측 방법을 활용하면 기반 모델의 OOD 성능을 정확하게 추정할 수 있음을 보였다. 특히 질문-답변 과제에서 기존 방법 대비 20% 이상 낮은 오차율을 달성했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Aman Mehra,R... at arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01542.pdfDeeper Inquiries