Core Concepts
언어 모델 기반 지침 따르기 시스템의 성능을 제3자가 정확하게 예측하기는 매우 어려운 과제이다.
Abstract
이 연구는 언어 모델 기반 지침 따르기 시스템의 성능을 제3자가 예측하는 프레임워크를 제안한다. 별도의 모델을 훈련하여 지침 입력과 모델 출력만을 이용해 해당 시스템의 평가 지표 결과를 예측하는 것이 목표이다.
다양한 공개 및 폐쇄형 지침 따르기 모델과 여러 성능 예측기를 사용하여 분석을 수행했다. 모델 크기, 훈련 과제 수, 프롬프트 형식 등 다양한 요인의 영향을 살펴보았다.
연구 결과, 제3자 성능 예측은 매우 어려운 과제로 나타났다. 모델 크기 증가, 훈련 데이터 확장, 프롬프트 정보 추가 등의 시도에도 불구하고 예측 성능이 크게 향상되지 않았다. 이는 현대 지침 따르기 자연어 처리 시스템의 한계를 자동으로 드러내는 예측기를 개발하는 데 여전히 많은 과제가 남아있음을 시사한다.
Stats
지침 따르기 모델의 ROUGE-L 성능은 45.9~63.5 범위에 분포한다.
지침 따르기 모델의 Exact Match 성능은 25.7~36.4 범위에 분포한다.
Quotes
"언어 모델 기반 지침 따르기 시스템은 다양한 벤치마크 과제에서 점점 더 높은 성능을 보이며, 광범위한 지침에 적응할 수 있는 능력을 입증하고 있다."
"그러나 이러한 시스템은 종종 자신의 한계에 대해 투명하지 않게 설계되어 있다. 사용자는 모델의 응답이 정확할 것으로 기대하거나, 해당 과제를 수행할 수 있는지 전혀 모르는 상태에서 모델에 지침을 제공할 수 있다."