이 논문은 대형 언어 모델(LLM)을 최적화기로 활용하는 방법인 OPRO(Optimization by PROmpting)를 제안한다. OPRO에서는 최적화 문제를 자연어로 기술하고, LLM이 이를 바탕으로 반복적으로 새로운 솔루션을 생성한다. 각 단계에서 생성된 솔루션과 그 점수를 메타 프롬프트에 추가하여 다음 단계의 최적화에 활용한다.
OPRO는 먼저 선형 회귀와 외판원 문제 등 수학적 최적화 문제에서 LLM이 단순한 프롬프팅만으로도 좋은 성능을 보임을 보여준다. 이어서 프롬프트 최적화 문제에 OPRO를 적용하여, GSM8K와 Big-Bench Hard 벤치마크에서 기존 프롬프트 대비 최대 8%와 50%의 성능 향상을 달성한다. 특히 다양한 LLM을 활용하여 최적화를 수행하였으며, 최적화된 프롬프트가 다른 유사 도메인 벤치마크에서도 우수한 성능을 보였다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Chengrun Yan... ที่ arxiv.org 04-16-2024
https://arxiv.org/pdf/2309.03409.pdfสอบถามเพิ่มเติม