Core Concepts
大規模言語モデルを使用してJavaScriptプログラムのセキュリティ脆弱性を見つけて修正する能力を検証する。
Abstract
JavaScriptはWeb開発で広く使用されているが、安全なコードの記述は容易ではない。
大規模言語モデル(LLMs)は自動コード生成において進歩を遂げており、JavaScriptプログラムのセキュリティ脆弱性を修正する可能性がある。
研究ではChatGPTとBardというLLMsの正確さとコンテキストの影響を探求。
実験結果では、LLMsはJavaScriptコードの自動修復に有望であり、適切な文脈が必要であることが示唆された。
イントロダクション
JavaScriptプログラムは理解が難しく、セキュリティ脆弱性につながる可能性がある。
LLMsは大規模なコードベースから学習し、自動的なコード生成を可能にする。
関連研究
コードセキュリティと脆弱性に関する研究が活発に行われている。
LLMsを使用したプログラム修復に関する先行研究も多数存在する。
方法論
LLMsへの入力プロンプトを通じて、JavaScriptコード内の脆弱性を特定し修正する能力を評価。
実験と評価
ChatGPTとBardはJavaScriptプログラム内の様々な脆弱性を修復する際に異なるレベルの文脈でパフォーマンスを示す。
提供された文脈がLLMsのパフォーマンスに影響を与えることが明らかになった。
Stats
ChatGPTとBardはそれぞれ60件中71.66%と68.33%の精度でパッチ生成している。