ライブラリ指向のコード生成のための構成API推奨

Główne pojęcia

LLMによるコード生成の優れたパフォーマンスを達成するために、CAPIR（Compositional API Recommendation）が提案されました。このアプローチは、粗い開発要件に対してAPIを推奨し、ライブラリ指向のコード生成を改善します。

Streszczenie

大規模言語モデル（LLMs）は、コード生成タスクで印象的なパフォーマンスを示しています。しかし、既存のLLMベースのプログラミングツールは、特定のライブラリ内のAPIに基づいてコードを生成する際に満足できるパフォーマンスを発揮しません。これらの問題に対処するために、CAPIRが提案されました。CAPIRは、「分割と征服」戦略を採用して粗い開発要件用にAPIを推奨し、最終的な推奨事項を提供します。実験結果は、RAPIDおよびLOCGという2つの厳しいベンチマークでCAPIRの効果を示しました。

Statystyki

CAPIRはTorchdata-ARデータセットでRecall@5を18.7％から43.2％、Precision@5を15.5％から37.1％に向上させました。
LOCGデータセットでは、CAPIRはPass@100を16.0％から28.0％に向上させました。

Cytaty

"大規模言語モデル（LLMs）はコード生成タスクで印象的なパフォーマンスを示しています" - Ma and An, et al.
"CAPIRは粗い開発要件用にAPIを推奨し、最終的な推奨事項を提供します" - Ma and An, et al.

Kluczowe wnioski z

Compositional API Recommendation for Library-Oriented Code Generation

by Zexiong Ma,S... o arxiv.org 03-01-2024

https://arxiv.org/pdf/2402.19431.pdf

Głębsze pytania

他の記事や研究と比較した場合、CAPIRがどれだけ効果的か？

提供されたコンテキストに基づいて、CAPIRはAPI推奨において優れたパフォーマンスを示しています。RAPIDベンチマークでの実験結果から、単一ライブラリAPIシーケンス推奨タスクではADA-retrieveおよびCLEARと比較して優れた成績を収めています。特にTorchdata-ARデータセットでは、Recall@3, 5, 10, 15およびPrecision@3, 5, 10, 15の両方で大幅な改善が見られました。さらにMulti-Conalaデータセットでも高い性能を発揮し、複数のライブラリから適切なAPIを推奨することが可能です。

既存手法と比較して、CAPIRが未知のライブラリでどれだけ有効か

Answer to Question2 here

低資源ライブラリ向けAPIシーケンス推奨方法が他の分野でも応用可能か

Answer to Question3 here