新しいベンチマークであるSyntax-Aware Fill-in-the-Middle(SAFIM)は、Large Language Models(LLMs)のコード補完タスクの評価に焦点を当てています。このベンチマークは、プログラム構造の文法に基づいた補完を強調し、17,720の例を含みます。15のLLMの包括的な評価では、FIM事前学習がFIM能力だけでなくL2R推論も向上させることが示されました。また、データ品質と事前学習方法がモデルサイズよりも重要であることが挑戦されました。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Linyuan Gong... om arxiv.org 03-11-2024
https://arxiv.org/pdf/2403.04814.pdfDiepere vragen