LLMs as Hackers: Autonomous Linux Privilege Escalation Attacks

Основные понятия

Large Language Models (LLMs) are being explored for their capabilities and challenges in the context of privilege escalation in penetration testing.

Аннотация

ABSTRACT:

Penetration testing is crucial for identifying vulnerabilities in systems.
Language Models (LLMs) are used to automate tasks in pen-testing.
A benchmark was created to evaluate LLMs' performance in Linux privilege escalation.
INTRODUCTION:

Linux privilege escalation involves gaining elevated access to resources.
LLMs show potential for automating and enhancing pen-testing tasks.
METHODOLOGY:

Design Science approach used to create a benchmark for Linux privilege escalation.
Vulnerability classes based on common exploits identified from CTF challenges.
RESULTS:

GPT-4 excelled at detecting file-based exploits, while GPT-3.5-turbo struggled.
Locally-run LLMs had limited success compared to cloud-based models.
EVALUATION:

High-level guidance improved exploitation rates significantly.
Context size impacted model performance, with larger sizes benefiting certain models.
DISCUSSION:

Quality of generated commands varied among LLMs, with some struggling with syntax and logic.
Multi-step exploits posed challenges for LLMs, highlighting the importance of causal connections.

Статистика

GPT-4はファイルベースの脆弱性を検出するのに適しており、75〜100%のテストケースを解決できることが示されました。
GPT-3.5-turboは25〜50%しか解決できず、ローカルモデルであるLlama2はいかなる脆弱性も検出できませんでした。

Цитаты

Ключевые выводы из

LLMs as Hackers

by Andr... в arxiv.org 03-20-2024

https://arxiv.org/pdf/2310.11409.pdf

Дополнительные вопросы

どのようにして高レベルのガイダンスが攻撃成功率に影響しましたか？

高レベルのガイダンスは、攻撃成功率を大幅に向上させました。具体的には、ファイルベースの脆弱性では、GPT-3.5-turboの攻略成功率が25〜50％から75〜100％に向上しました。また、GPT-4も同様であり、ファイルベースの脆弱性をすべて発見することができるようになりました。特にGPT-4は、通常2つ目までで脆弱性を利用することが可能であり、「SUIDバイナリーを検索した後、見つけた中から1つを利用する」といったアプローチを取ります。
情報開示型の脆弱性でもガイダンスが追加されると効果的であり、その攻略成功率は0〜20％から60〜80％へと向上しました。さらに、マルチステップクロン（cron）ベースの課題では特に難しくなっており，このクラス全体ではあまり成功していません。

どのようなLLMがマルチステップエクスプロイトへ対処する際直面した課題は何ですか？

LLMがマルチステップエクスプロイト（多段階侵害）へ対処する際に直面した主な課題は時間的遅れや因果関係です。典型的な例としては，許可されたsudoバイナリー一覧表示後，それらの中から1つを利用する，suidバイナリー検索後，その中身を出力してそこから見つけたパスワード使用等です．これら多段階エクスプロイトでは前提情報収集とその活用間や各手順間で因果関係が生じます．
具体的な例としてcron-based（cron基準）脆弱性クラストest-case) を挙げるとします．この場合，攻撃者は書き込み可能なcronターゲット(cron test-case) を使って準備作業やsuibinary作成, 追加sudo許可変更rootパ ス ワード変更等 特定 設定 多段 階 時間 的 遅 れ 索 引 導入 試行 場 合 成功 の 利点 因果関係 途切れ.

この研究結果は将来サイバーセキュリティ戦略やLLM開発へどんな影響を与える可能性がありますか？

この研究結果は将来サイバーセキュリティ戦略やLLM開発へ重要な示唆を与えています．特に以下の点で影響力がある可能性が考えられます：

セキュリティ戦略改善：本研究結果から得られた知見を元にセキュリティ専門家や企業は新たな防御策や監視システム導入等セキュリティ戦略改善施策立案・実装・評価行動取得。

LLM技術応用：今回得られたデータ及び分析結果から次世代言語モデル(LLMs) の開発・改良方針決定及技術応用範囲拡大有望。

教育普及：本研究成果公表及共有化通じて広くサイバーセキュリ リ チャレンジ コント エスト 及ビジョニング能 力 敷地 提供.

以上述内容参考資料提供意義深い議論展開期待されます。