이 논문은 대형 언어 모델(LLM)을 최적화기로 활용하는 방법인 OPRO(Optimization by PROmpting)를 제안한다. OPRO에서는 최적화 문제를 자연어로 기술하고, LLM이 이를 바탕으로 반복적으로 새로운 솔루션을 생성한다. 각 단계에서 생성된 솔루션과 그 점수를 메타 프롬프트에 추가하여 다음 단계의 최적화에 활용한다.
OPRO는 먼저 선형 회귀와 외판원 문제 등 수학적 최적화 문제에서 LLM이 단순한 프롬프팅만으로도 좋은 성능을 보임을 보여준다. 이어서 프롬프트 최적화 문제에 OPRO를 적용하여, GSM8K와 Big-Bench Hard 벤치마크에서 기존 프롬프트 대비 최대 8%와 50%의 성능 향상을 달성한다. 특히 다양한 LLM을 활용하여 최적화를 수행하였으며, 최적화된 프롬프트가 다른 유사 도메인 벤치마크에서도 우수한 성능을 보였다.
To Another Language
from source content
arxiv.org
Дополнительные вопросы