Die Studie evaluiert die Leistung von ChatGPT bei verschiedenen Software-Schwachstellen-bezogenen Aufgaben und vergleicht sie mit state-of-the-art Ansätzen.
Vulnerability Erkennung: ChatGPT hat im Vergleich zu bestehenden Ansätzen eine schlechtere Leistung bei Präzision, Recall und F1-Score, ist aber bei der Genauigkeit besser als einige graphbasierte Modelle. ChatGPT ist gut bei der Erkennung von "NULL Pointer Dereference" und "Berechtigungen, Privilegien und Zugriffskontrollen", hat aber Schwierigkeiten bei Autorisierungsprüfung, Ressourcenverwaltung und Eingabevalidierung.
Vulnerability Bewertung: ChatGPT hat eine begrenzte Fähigkeit zur Bewertung von Schweregrad allein anhand des Quellcodes, kann diese aber durch zusätzliche Kontextinformationen deutlich verbessern. Die Leistung variiert jedoch je nach Vulnerability-Typ.
Vulnerability Lokalisierung: ChatGPT zeigt eine gewisse Fähigkeit zur Lokalisierung von Schwachstellen, wobei die Leistung je nach Vulnerability-Typ variiert.
Vulnerability Reparatur: ChatGPT hat eine begrenzte Fähigkeit zur Reparatur von Schwachstellen, unabhängig davon, ob Kontextinformationen bereitgestellt werden oder nicht.
Vulnerability Beschreibung: ChatGPT hat eine ungleichmäßige Leistung bei der Generierung von CVE-Beschreibungen über verschiedene Vulnerability-Typen hinweg, mit begrenzter Detailgenauigkeit.
Insgesamt zeigt die Studie, dass ChatGPT in einigen Bereichen gute Leistungen erbringt, aber noch Verbesserungspotenzial bei der Verarbeitung von Software-Schwachstellen hat.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Pertanyaan yang Lebih Dalam