AIによって生成された脆弱性の多い C プログラムのデータセット「FormAI」

Core Concepts

本研究では、GPT-3.5-turboによって生成されたCプログラムに含まれる脆弱性を包括的に分析し、その特徴を明らかにする。

Abstract

本研究では、GPT-3.5-turboを使用してCプログラムを生成し、それらのプログラムに含まれる脆弱性を形式的検証手法であるESBMCを用いて分析した。

GPT-3.5-turboを使用して、様々なタスクを実行するCプログラムを112,000個生成した。
生成されたプログラムの98%がコンパイル可能であることを確認した。
ESBMCを使用して、生成されたプログラムの脆弱性を検出・分類した。
検出された脆弱性は197,800件に及び、そのほとんどがバッファオーバーフロー、整数オーバーフロー、配列境界違反などの深刻な脆弱性であった。
検出された脆弱性をCWEに分類し、その特徴を分析した。
生成されたプログラムを使用して、ESBMCやCBMCモジュール、Clangコンパイラの不具合を発見し、開発者に報告した。
本研究で作成したFormAIデータセットは、脆弱性検出ツールのベンチマークや機械学習アルゴリズムの訓練に役立つ貴重なリソースとなる。

Stats

プログラムの総行数は8,848,765行で、1プログラムあたり平均79行である。
プログラムの最大行数は600行を超えるものがあった。

Quotes

なし

Key Insights Distilled From

The FormAI Dataset

by Norbert Tiha... at arxiv.org 03-29-2024

https://arxiv.org/pdf/2307.02192.pdf

Deeper Inquiries

AIによって生成されたプログラムの脆弱性は、人間が書いたプログラムの脆弱性とどのように異なるか?

AIによって生成されたプログラムの脆弱性は、人間が書いたプログラムの脆弱性といくつかの点で異なります。まず、AIが生成するプログラムは、大量のデータから学習したモデルによって生成されるため、そのモデルが学習したデータに基づいて特定のパターンや傾向を再現する傾向があります。これにより、AIが特定の脆弱性を再現しやすくなる可能性があります。一方、人間が書いたプログラムは、個々の開発者のスキルや知識、経験に基づいて作成されるため、異なる脆弱性のパターンや原因が見られることがあります。
さらに、AIが生成するプログラムは、特定のタスクやパターンに偏りやすい傾向があります。これは、AIモデルが学習したデータに基づいて生成されるため、特定の入力や要求に対して特定の出力を生成する傾向があるからです。一方、人間が書いたプログラムは、個々の開発者の創造性や知識によって多様なアプローチや解決策が生み出されるため、脆弱性の種類や発生原因が異なることがあります。
したがって、AIによって生成されたプログラムの脆弱性は、再現性やパターンの偏り、特定の入力に対する特定の出力などの点で人間が書いたプログラムと異なる特性を持つ可能性があります。これは、脆弱性検出や修正のアプローチを考える際に留意すべき点です。