통찰 - Computer Security and Privacy - # 大型語言模型安全

揭露大型語言模型整合應用程式中的遠端程式碼執行漏洞

Q: 除了 RCE 和 SQL 注入之外，整合 LLM 的應用程式還面臨哪些其他安全威脅？

除了 RCE 和 SQL 注入之外，整合 LLM 的應用程式還面臨著其他安全威脅，可以歸納為以下幾類： 1. 基於 LLM 本身的攻擊: 提示注入攻擊 (Prompt Injection): 攻擊者利用惡意構造的提示語句，誘導 LLM 產生非預期的輸出，例如洩露敏感信息、繞過安全限制等。 目標劫持 (Goal Hijacking): 攻擊者通過精心設計的提示語句，改變 LLM 的目標，使其執行攻擊者期望的任務。 提示洩露 (Prompt Leaking): 攻擊者嘗試從 LLM 中提取系統提示或其他敏感信息，例如安全指令、知識產權等。 越獄攻擊 (Jailbreaking): 攻擊者試圖繞過 LLM 的安全限制，使其執行被禁止的操作，例如生成不道德或暴力內容。 2. 基於應用程式本身的攻擊: 跨站脚本攻击 (XSS): 如果應用程式未對 LLM 生成的輸出進行適當的過濾，攻擊者可能注入惡意腳本，竊取用戶信息或控制用戶帳戶。 跨站请求伪造 (CSRF): 攻擊者誘導用戶在其已登錄的應用程式上執行惡意操作，例如修改帳戶信息、發送垃圾郵件等。 拒绝服务攻击 (DoS): 攻擊者發送大量請求，導致應用程式過載，無法正常提供服務。 3. 基於數據安全的攻擊: 數據洩露 (Data Leakage): LLM 可能會在訓練過程中記憶敏感信息，攻擊者可能通過精心設計的提示語句，從 LLM 中提取這些信息。 數據污染 (Data Poisoning): 攻擊者可能會向 LLM 輸入惡意數據，影響其訓練效果，使其產生錯誤或有害的輸出。

Q: 如何在不影響 LLM 功能的情況下，有效地防禦針對 LLM 整合應用程式的攻擊？

在不影響 LLM 功能的情況下，可以採取以下措施來防禦針對 LLM 整合應用程式的攻擊： 1. 針對 LLM 本身的防禦: 強化提示語句 (Prompt Hardening): 對系統提示進行嚴格的測試和審查，避免出現漏洞，並使用參數化查詢等方式，防止提示注入攻擊。 限制 LLM 功能 (Functionality Limitation): 根據應用程式的實際需求，限制 LLM 的功能，例如禁止其訪問外部網絡、執行系統命令等。 監控 LLM 行為 (Behavior Monitoring): 對 LLM 的輸入和輸出進行監控，及時發現異常行為，並採取相應的措施。 2. 針對應用程式本身的防禦: 輸入驗證和輸出過濾 (Input Validation & Output Sanitization): 對用戶輸入進行嚴格的驗證，過濾掉危險字符，並對 LLM 生成的輸出進行適當的編碼，防止 XSS 攻擊。 使用安全框架和函式庫 (Secure Frameworks & Libraries): 使用經過安全審查的框架和函式庫，降低應用程式本身出現漏洞的風險。 部署安全機制 (Security Mechanisms): 部署防火牆、入侵檢測系統等安全機制，保護應用程式免受攻擊。 3. 針對數據安全的防禦: 數據脫敏 (Data Masking): 對敏感數據進行脫敏處理，例如替換、加密等，防止 LLM 在訓練過程中記憶敏感信息。 數據驗證 (Data Validation): 對輸入 LLM 的數據進行驗證，防止數據污染。

Q: LLM 技術的發展將如何影響未來網路安全的格局？

LLM 技術的發展對未來網路安全的格局將產生深遠的影響，它既是機遇也是挑戰： 1. 新的攻擊面 (New Attack Surface): LLM 的出現為攻擊者提供了新的攻擊面，攻擊者可以利用 LLM 的漏洞發起攻擊，例如提示注入攻擊、目標劫持等。 2. 攻擊自動化 (Attack Automation): LLM 可以被用於自動化攻擊，例如生成釣魚郵件、编写惡意腳本等，這將降低攻擊門檻，增加攻擊的規模和速度。 3. 安全防禦的提升 (Enhanced Security Defense): LLM 也可以被用於提升安全防禦能力，例如自動化安全分析、檢測惡意代码等，這將有助於提高安全防禦的效率和準確性。 總體而言，LLM 技術的發展將使網路安全攻防雙方都獲得更強大的能力，未來的網路安全形勢將更加複雜多變。為了應對 LLM 技術帶來的安全挑戰，安全人員需要不斷學習新的知識和技能，開發新的安全技術和工具，才能有效地保護網路安全。

핵심 개념

整合大型語言模型 (LLM) 的應用程式存在著遠端程式碼執行 (RCE) 漏洞的風險，攻擊者可以透過提示注入操控 LLM 產生惡意程式碼，進而控制應用程式伺服器。

초록

요약 맞춤 설정

AI로 다시 쓰기

인용 생성

소스 번역

다른 언어로

마인드맵 생성

소스 콘텐츠 기반

소스 방문

arxiv.org

這篇研究論文揭露了整合大型語言模型 (LLM) 的應用程式中存在的一種新型態安全威脅：遠端程式碼執行 (RCE) 漏洞。作者們開發了一個名為 LLMSmith 的工具，用於偵測、驗證和利用這些漏洞。
研究背景
LLM 在軟體開發領域展現出巨大潛力，越來越多應用程式開始整合 LLM 以提升智慧化程度。然而，這些整合 LLM 的應用程式也引入了新的安全風險。由於 LLM 本身行為的不可預測性和隨機性，攻擊者可能透過精心設計的提示注入攻擊，操控 LLM 產生惡意程式碼，進而控制應用程式伺服器。
LLMSmith 工具
為了應對這個新興威脅，作者們開發了 LLMSmith 工具，該工具包含以下功能：

漏洞偵測： LLMSmith 使用輕量級靜態分析技術掃描框架原始碼，提取從使用者層級 API 到危險函數的呼叫鏈，並驗證其可利用性。
應用程式收集： LLMSmith 從程式碼託管平台和應用程式市場收集可能受影響的 LLM 整合應用程式，涵蓋白盒（原始碼可用）和黑盒（原始碼不可用）兩種情況。
漏洞利用： LLMSmith 提出了一種基於提示的系統性漏洞利用方法，結合了幻覺測試、LLM 逃逸等多種策略，以驗證和利用 RCE 漏洞。
研究發現
LLMSmith 在 11 個 LLM 整合框架中發現了 20 個漏洞，其中 13 個漏洞被分配了 CVE 編號，6 個漏洞的 CVSS 評分為 9.8 分。此外，LLMSmith 在 51 個可能受影響的應用程式中成功執行了攻擊，其中 16 個應用程式存在 RCE 漏洞，1 個應用程式存在 SQL 注入漏洞。
研究貢獻
這篇論文的主要貢獻包括：

提出了一種有效且輕量級的方法來偵測 LLM 整合框架中的 RCE 漏洞。
提出了一種基於提示的 LLM 整合應用程式漏洞利用方法。
首次對這些新型 RCE 攻擊向量、漏洞和實際攻擊進行了系統分析。
研究意義
這篇論文的研究結果揭示了整合 LLM 的應用程式所面臨的嚴重安全威脅，並提供了一種有效的工具來偵測和利用這些漏洞。這些發現對於 LLM 整合框架和應用程式的開發者具有重要的參考價值，有助於他們開發更安全的應用程式。

통계

LLMSmith 在 11 個 LLM 整合框架中發現了 20 個漏洞。
13 個漏洞被分配了 CVE 編號。
6 個漏洞的 CVSS 評分為 9.8 分。
LLMSmith 在 51 個可能受影響的應用程式中成功執行了攻擊。
16 個應用程式存在 RCE 漏洞。
1 個應用程式存在 SQL 注入漏洞。

핵심 통찰 요약

Demystifying RCE Vulnerabilities in LLM-Integrated Apps

by Tong Liu, Zi... 게시일 arxiv.org 11-21-2024

https://arxiv.org/pdf/2309.02926.pdf

Demystifying RCE Vulnerabilities in LLM-Integrated Apps

더 깊은 질문

除了 RCE 和 SQL 注入之外，整合 LLM 的應用程式還面臨哪些其他安全威脅？

除了 RCE 和 SQL 注入之外，整合 LLM 的應用程式還面臨著其他安全威脅，可以歸納為以下幾類：
1. 基於 LLM 本身的攻擊:

提示注入攻擊 (Prompt Injection): 攻擊者利用惡意構造的提示語句，誘導 LLM 產生非預期的輸出，例如洩露敏感信息、繞過安全限制等。
目標劫持 (Goal Hijacking): 攻擊者通過精心設計的提示語句，改變 LLM 的目標，使其執行攻擊者期望的任務。
提示洩露 (Prompt Leaking): 攻擊者嘗試從 LLM 中提取系統提示或其他敏感信息，例如安全指令、知識產權等。
越獄攻擊 (Jailbreaking): 攻擊者試圖繞過 LLM 的安全限制，使其執行被禁止的操作，例如生成不道德或暴力內容。
2.  基於應用程式本身的攻擊:

跨站脚本攻击 (XSS):  如果應用程式未對 LLM 生成的輸出進行適當的過濾，攻擊者可能注入惡意腳本，竊取用戶信息或控制用戶帳戶。
跨站请求伪造 (CSRF): 攻擊者誘導用戶在其已登錄的應用程式上執行惡意操作，例如修改帳戶信息、發送垃圾郵件等。
拒绝服务攻击 (DoS): 攻擊者發送大量請求，導致應用程式過載，無法正常提供服務。
3.  基於數據安全的攻擊:

數據洩露 (Data Leakage):  LLM 可能會在訓練過程中記憶敏感信息，攻擊者可能通過精心設計的提示語句，從 LLM 中提取這些信息。
數據污染 (Data Poisoning): 攻擊者可能會向 LLM 輸入惡意數據，影響其訓練效果，使其產生錯誤或有害的輸出。

如何在不影響 LLM 功能的情況下，有效地防禦針對 LLM 整合應用程式的攻擊？

在不影響 LLM 功能的情況下，可以採取以下措施來防禦針對 LLM 整合應用程式的攻擊：
1.  針對 LLM 本身的防禦:

強化提示語句 (Prompt Hardening):  對系統提示進行嚴格的測試和審查，避免出現漏洞，並使用參數化查詢等方式，防止提示注入攻擊。
限制 LLM 功能 (Functionality Limitation):  根據應用程式的實際需求，限制 LLM 的功能，例如禁止其訪問外部網絡、執行系統命令等。
監控 LLM 行為 (Behavior Monitoring):  對 LLM 的輸入和輸出進行監控，及時發現異常行為，並採取相應的措施。
2.  針對應用程式本身的防禦:

輸入驗證和輸出過濾 (Input Validation & Output Sanitization):  對用戶輸入進行嚴格的驗證，過濾掉危險字符，並對 LLM 生成的輸出進行適當的編碼，防止 XSS 攻擊。
使用安全框架和函式庫 (Secure Frameworks & Libraries):  使用經過安全審查的框架和函式庫，降低應用程式本身出現漏洞的風險。
部署安全機制 (Security Mechanisms):  部署防火牆、入侵檢測系統等安全機制，保護應用程式免受攻擊。
3.  針對數據安全的防禦:

數據脫敏 (Data Masking):  對敏感數據進行脫敏處理，例如替換、加密等，防止 LLM 在訓練過程中記憶敏感信息。
數據驗證 (Data Validation):  對輸入 LLM 的數據進行驗證，防止數據污染。

LLM 技術的發展將如何影響未來網路安全的格局？

LLM 技術的發展對未來網路安全的格局將產生深遠的影響，它既是機遇也是挑戰：
1.  新的攻擊面 (New Attack Surface):  LLM 的出現為攻擊者提供了新的攻擊面，攻擊者可以利用 LLM 的漏洞發起攻擊，例如提示注入攻擊、目標劫持等。
2.  攻擊自動化 (Attack Automation):  LLM 可以被用於自動化攻擊，例如生成釣魚郵件、编写惡意腳本等，這將降低攻擊門檻，增加攻擊的規模和速度。
3.  安全防禦的提升 (Enhanced Security Defense):  LLM 也可以被用於提升安全防禦能力，例如自動化安全分析、檢測惡意代码等，這將有助於提高安全防禦的效率和準確性。
總體而言，LLM 技術的發展將使網路安全攻防雙方都獲得更強大的能力，未來的網路安全形勢將更加複雜多變。為了應對 LLM 技術帶來的安全挑戰，安全人員需要不斷學習新的知識和技能，開發新的安全技術和工具，才能有效地保護網路安全。