Core Concepts
대규모 언어 모델은 프롬프트의 사소한 변화에도 매우 민감하게 반응하지만, 이에 대한 체계적인 평가 방법이 부족했다. 이 연구에서는 POSIX라는 새로운 프롬프트 민감도 지수를 제안하여 이를 해결하고자 한다.
Abstract
이 연구는 대규모 언어 모델의 프롬프트 민감도를 체계적으로 평가하기 위해 POSIX(PrOmpt Sensitivity IndeX)라는 새로운 지수를 제안했다. POSIX는 프롬프트의 의도를 유지하면서 변화를 주었을 때 모델의 출력 확률 분포가 얼마나 달라지는지를 측정한다.
구체적으로 POSIX는 다음 4가지 요소를 고려한다:
- 출력 다양성: 프롬프트 변화에 따른 고유 출력의 수
- 출력 분포 엔트로피: 각 출력의 빈도 분포 엔트로피
- 의미적 일관성: 출력 간 의미적 유사도
- 출력 확신도 분산: 동일 출력에 대한 확률 분산
저자들은 MMLU와 Alpaca 데이터셋을 사용하여 POSIX를 계산하고, 다양한 언어 모델과 프롬프트 변화 유형에 대해 분석했다. 그 결과 다음과 같은 발견을 얻었다:
- 모델 규모 증가나 지시 튜닝이 반드시 프롬프트 민감도를 낮추지는 않는다.
- 단 하나의 예시만 추가해도 프롬프트 민감도가 크게 감소한다.
- MCQ 유형 과제에서는 프롬프트 템플릿 변화가, 오픈엔드 생성 과제에서는 문구 변화가 가장 큰 영향을 준다.
이를 통해 POSIX가 프롬프트 민감도를 종합적으로 평가할 수 있는 유용한 지표임을 보였다.
Stats
대규모 언어 모델은 프롬프트의 사소한 변화에도 매우 민감하게 반응한다.
모델 규모 증가나 지시 튜닝이 반드시 프롬프트 민감도를 낮추지는 않는다.
단 하나의 예시만 추가해도 프롬프트 민감도가 크게 감소한다.
MCQ 유형 과제에서는 프롬프트 템플릿 변화가, 오픈엔드 생성 과제에서는 문구 변화가 가장 큰 영향을 준다.
Quotes
"대규모 언어 모델(LLMs)은 프롬프트의 사소한 변화에도 매우 민감하게 반응하는 것으로 알려져 있다."
"모델 규모 증가나 지시 튜닝이 반드시 프롬프트 민감도를 낮추지는 않는다."
"단 하나의 예시만 추가해도 프롬프트 민감도가 크게 감소한다."