本論文は、LLMsがセキュリティ関連のバグを確実に特定し、理解することができるかどうかを包括的に評価するフレームワーク「SecLLMHolmes」を開発している。
8つの最先端LLMを228のコードシナリオに適用し、8つの調査次元で分析した結果、以下のことが明らかになった:
これらの結果から、LLMが自動的な脆弱性検出に使用されるには、さらなる進化が必要であることが示された。本研究で開発したフレームワークは、今後のモデルの進歩を示すベンチマークとして機能する。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Saad Ullah,M... kl. arxiv.org 04-16-2024
https://arxiv.org/pdf/2312.12575.pdfDybere Forespørgsler