この研究は、コード言語モデル(CLM)のパフォーマンスにおけるデータ汚染の影響を評価しています。異なる年度やカテゴリーで収集されたPythonコードグループについて、CLMsのPass@kスコアが示されています。さらに、異なるカウンターメジャー(最新データ、カスタマイズされたデータ、リファクタリングされたデータ)がCLMsのパフォーマンスに与える影響も検証されています。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Jialun Cao,W... om arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16898.pdfDiepere vragen