이 연구는 대규모 언어 모델의 프롬프트 민감도를 체계적으로 평가하기 위해 POSIX(PrOmpt Sensitivity IndeX)라는 새로운 지수를 제안했다. POSIX는 프롬프트의 의도를 유지하면서 변화를 주었을 때 모델의 출력 확률 분포가 얼마나 달라지는지를 측정한다.
구체적으로 POSIX는 다음 4가지 요소를 고려한다:
저자들은 MMLU와 Alpaca 데이터셋을 사용하여 POSIX를 계산하고, 다양한 언어 모델과 프롬프트 변화 유형에 대해 분석했다. 그 결과 다음과 같은 발견을 얻었다:
이를 통해 POSIX가 프롬프트 민감도를 종합적으로 평가할 수 있는 유용한 지표임을 보였다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Anwoy Chatte... alle arxiv.org 10-04-2024
https://arxiv.org/pdf/2410.02185.pdfDomande più approfondite