本研究では、大言語モデル(LLM)を最適化ツールとして活用する手法「OPRO」を提案している。OPROでは、最適化問題を自然言語で記述し、LLMに最適化を行わせる。各最適化ステップでは、LLMが過去に生成した解とその評価値を参考に、新しい解を生成する。これにより、LLMが自然言語の理解力を活かして、柔軟に最適化を行うことができる。
研究では、まず線形回帰問題や巡回セールスマン問題などの数学的最適化問題でLLMの性能を確認した。次に、プロンプト最適化への応用を示した。プロンプト最適化では、タスクの精度を最大化するプロンプトを見つけることが目的である。実験では、GSM8Kやビッグベンチハード(BBH)のベンチマークタスクでプロンプト最適化を行い、人手設計のプロンプトを大幅に上回る性能を達成した。
To Another Language
from source content
arxiv.org
Djupare frågor