Core Concepts
FIM pretraining enhances code completion proficiency and challenges model size importance.
Abstract
新しいベンチマークであるSyntax-Aware Fill-in-the-Middle(SAFIM)は、Large Language Models(LLMs)のコード補完タスクの評価に焦点を当てています。このベンチマークは、プログラム構造の文法に基づいた補完を強調し、17,720の例を含みます。15のLLMの包括的な評価では、FIM事前学習がFIM能力だけでなくL2R推論も向上させることが示されました。また、データ品質と事前学習方法がモデルサイズよりも重要であることが挑戦されました。
Stats
SAFIMは17,720の例を含む。
15のLLMによる包括的な評価。
CodeLLaMa-34BはFIMサポートがない。
Quotes
"Pretraining Method and Data Are More Important Than Sheer Model Size."
"FIM Pretraining Boosts Both FIM and L2R Performance."
"Prompt Selection is Crucial for Fair Evaluation in Code FIM Tasks."