Die Studie untersucht die Leistungsfähigkeit von zwei Sprachmodellen, CodeGPT und UniXcoder, beim Vervollständigen von Code in der funktionalen Programmiersprache Haskell.
Zunächst wurden die Modelle auf einem öffentlich zugänglichen Haskell-Datensatz (Blastwind) finegetuned. Die automatische Auswertung zeigt, dass das Wissen über imperative Programmiersprachen beim Vortraining der Sprachmodelle nicht gut auf funktionale Sprachen wie Haskell überträgt, aber dass Codeergänzung in funktionalen Sprachen grundsätzlich machbar ist.
Zusätzlich wurde ein manuell übersetzter HumanEval-Datensatz für Haskell erstellt, um die Modelle genauer zu evaluieren. Die manuelle Analyse zeigt, dass CodeGPT häufig leere Vorhersagen und unnötige Kommentare generiert, während UniXcoder öfter unvollständige oder falsche Vorhersagen trifft. Insgesamt deutet dies darauf hin, dass CodeGPT die sicherere Wahl für den praktischen Einsatz ist.
Die Ergebnisse zeigen, dass es keinen eindeutigen Schwachpunkt beim Vervollständigen von Haskell-Code gibt. Stattdessen deutet alles auf einen hohen Bedarf an allgemeiner Verbesserung der Unterstützung für funktionale Programmiersprachen in Sprachmodellen hin.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Tim van Dam,... at arxiv.org 03-25-2024
https://arxiv.org/pdf/2403.15185.pdfDeeper Inquiries