Core Concepts
언어 모델의 성능을 최대화하기 위해 시뮬레이션 최적화 기법을 활용하여 효과적인 프롬프트를 선택하는 방법을 제안한다.
Abstract
이 논문은 언어 모델의 성능을 향상시키기 위해 프롬프트 선택 문제를 시뮬레이션 최적화 문제로 다룬다.
검색 단계에서는 초기 예시 프롬프트를 텍스트 자동 인코더를 통해 벡터로 변환하고, 이를 바탕으로 새로운 프롬프트 후보들을 생성한다. 이후 주성분 분석을 통해 중간 차원의 벡터로 표현된 "소프트 프롬프트" 집합을 구축한다.
평가 및 선택 단계에서는 베이지안 모수 모델을 이용하여 소프트 프롬프트의 평균 점수를 근사하고, 획득 함수를 최적화하여 다음 평가할 프롬프트를 선택한다. 이 과정을 반복하여 최종적으로 가장 높은 평균 점수를 가진 프롬프트를 선택한다.
또한 추가적인 관찰치를 활용하여 검색 단계의 프롬프트 집합을 개선하는 절차도 제안한다.
Stats
언어 모델의 출력 문맥과 기준 문맥 간 유사도 점수를 최대화하는 것이 목표이다.
기준 문맥 집합 B = {(x1, y1), (x2, y2), ..., (xM, yM)}에서 각 쌍 (xm, ym)은 수정 전후의 문단을 나타낸다.
점수 함수 h(·, ·)는 생성된 출력 문맥 ŷ와 기준 문맥 y 간 유사도를 측정한다.
관찰된 점수 b
v(prom) = v(prom) + ϵ(prom)에서 v(prom)은 프롬프트 prom의 평균 점수이고, ϵ(prom)은 관찰 오차이다.
Quotes
"언어 모델의 성능을 향상시키기 위해 프롬프트 선택이 중요하다."
"프롬프트 선택은 현재 주로 사람의 노력에 의존하고 있지만, 이는 비용이 많이 들고 확장성이 제한적이다."
"시뮬레이션 최적화 기법을 활용하여 프롬프트 선택 문제를 해결할 수 있다."