本論文は、LLMsがセキュリティ関連のバグを確実に特定し、理解することができるかどうかを包括的に評価するフレームワーク「SecLLMHolmes」を開発している。
8つの最先端LLMを228のコードシナリオに適用し、8つの調査次元で分析した結果、以下のことが明らかになった:
これらの結果から、LLMが自動的な脆弱性検出に使用されるには、さらなる進化が必要であることが示された。本研究で開発したフレームワークは、今後のモデルの進歩を示すベンチマークとして機能する。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Saad Ullah,M... at arxiv.org 04-16-2024
https://arxiv.org/pdf/2312.12575.pdfDeeper Inquiries