Die Studie untersucht die syntaktische Robustheit von LLM-basierten Codegeneratoren wie GPT-3.5 und GPT-4. Syntaktische Robustheit bedeutet, dass semantisch äquivalente, aber syntaktisch unterschiedliche Prompts zu semantisch äquivalenten Codeausgaben führen.
Die Autoren definieren zunächst formal, was syntaktische Robustheit ist. Sie erstellen dann Codegenerations-Prompts basierend auf linearen, quadratischen, trigonometrischen und logarithmischen Gleichungen. Mithilfe von Mutationsregeln erzeugen sie syntaktisch unterschiedliche, aber semantisch äquivalente Varianten dieser Gleichungen.
Die experimentelle Auswertung zeigt, dass GPT-3.5 und GPT-4 nicht syntaktisch robust sind. Der Grad der syntaktischen Robustheit nimmt mit zunehmender syntaktischer Distanz (d.h. mehr Mutationen) ab. Unterschiedliche Mutationstypen haben auch unterschiedliche Auswirkungen auf die syntaktische Robustheit.
Um die syntaktische Robustheit zu verbessern, führen die Autoren einen Prompt-Vorverarbeitungsschritt ein, bei dem die Gleichungen mithilfe von Reduktionsregeln vereinfacht werden. Diese Vorverarbeitung erhöht die syntaktische Robustheit beider GPT-Modelle auf 100%.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Laboni Sarke... a las arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.01535.pdfConsultas más profundas