Основні поняття
LLMによるコード生成の優れたパフォーマンスを達成するために、CAPIR(Compositional API Recommendation)が提案されました。このアプローチは、粗い開発要件に対してAPIを推奨し、ライブラリ指向のコード生成を改善します。
Анотація
大規模言語モデル(LLMs)は、コード生成タスクで印象的なパフォーマンスを示しています。しかし、既存のLLMベースのプログラミングツールは、特定のライブラリ内のAPIに基づいてコードを生成する際に満足できるパフォーマンスを発揮しません。これらの問題に対処するために、CAPIRが提案されました。CAPIRは、「分割と征服」戦略を採用して粗い開発要件用にAPIを推奨し、最終的な推奨事項を提供します。実験結果は、RAPIDおよびLOCGという2つの厳しいベンチマークでCAPIRの効果を示しました。
Статистика
CAPIRはTorchdata-ARデータセットでRecall@5を18.7%から43.2%、Precision@5を15.5%から37.1%に向上させました。
LOCGデータセットでは、CAPIRはPass@100を16.0%から28.0%に向上させました。
Цитати
"大規模言語モデル(LLMs)はコード生成タスクで印象的なパフォーマンスを示しています" - Ma and An, et al.
"CAPIRは粗い開発要件用にAPIを推奨し、最終的な推奨事項を提供します" - Ma and An, et al.