ASCII 아트 기반 정렬 LLM에 대한 탈옥 공격

Core Concepts

LLM의 안전성 강화를 위해 사용되는 데이터 필터링 및 감독 미세 조정 기술은 LLM 학습 데이터가 의미론적으로만 해석된다는 가정에 기반하고 있다. 그러나 이 가정은 실제 응용 프로그램에서 성립하지 않으며, 이로 인해 LLM에 심각한 취약점이 발생한다. 본 논문에서는 ASCII 아트 기반 탈옥 공격 ArtPrompt를 제안하고, LLM이 의미론적으로만 해석할 수 없는 프롬프트를 인식하는 능력을 평가하는 Vision-in-Text Challenge (VITC) 벤치마크를 소개한다.

Abstract

본 논문은 LLM의 안전성 강화를 위해 사용되는 기술이 데이터를 의미론적으로만 해석한다는 점에 주목한다. 이는 실제 응용 프로그램에서 문제가 될 수 있는데, 사용자들이 ASCII 아트와 같은 텍스트 기반 아트를 사용하여 이미지 정보를 전달하기 때문이다.
논문에서는 다음과 같은 내용을 다룬다:

VITC 벤치마크를 통해 5개의 최신 LLM(GPT-3.5, GPT-4, Gemini, Claude, Llama2)이 의미론적으로 해석할 수 없는 프롬프트를 인식하는 데 어려움을 겪는다는 것을 보여준다.
이러한 LLM의 취약점을 악용하는 ASCII 아트 기반 탈옥 공격 ArtPrompt를 제안한다. ArtPrompt는 LLM의 안전성 조치를 우회하고 원치 않는 행동을 유발할 수 있다.
5개의 LLM과 2개의 벤치마크 데이터셋(AdvBench, HEx-PHI)을 사용하여 ArtPrompt의 효과를 평가한다. 실험 결과, ArtPrompt는 다른 탈옥 공격에 비해 효과적이고 효율적으로 LLM의 안전하지 않은 행동을 유발할 수 있다. 또한 ArtPrompt는 3가지 방어 기술(Perplexity, Paraphrase, Retokenization)을 성공적으로 우회할 수 있다.

Stats

모든 LLM은 VITC 벤치마크에서 매우 낮은 성능을 보였다. 예를 들어 GPT-4의 최고 성능은 VITC-S에서 25.19%의 정확도에 불과했다.
ArtPrompt는 5개 LLM 모두에서 평균 84%의 HPR, 3.6의 HS, 52%의 ASR을 달성했다.
ArtPrompt는 Perplexity와 Retokenization 방어를 성공적으로 우회했으며, Paraphrase 방어에 대해서도 평균 39%의 ASR과 3.18의 HS를 달성했다.

Quotes

"Will semantics-only interpretation of corpora during safety alignment lead to vulnerabilities of LLM safety that can be exploited by malicious users?"
"Safety is critical to the usage of large language models (LLMs)."
"Currently known techniques presume that corpora used for safety alignment of LLMs are solely interpreted by semantics. This assumption, however, does not hold in real-world applications, which leads to severe vulnerabilities in LLMs."

Key Insights Distilled From

ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs

by Fengqing Jia... at arxiv.org 04-23-2024

https://arxiv.org/pdf/2402.11753.pdf

Deeper Inquiries

질문 1

의미론 외의 다른 해석 방법을 고려하여 LLM의 안전성을 강화하는 한 가지 방법은 다양한 입력 형식을 활용하는 것입니다. 예를 들어, 이미지나 오디오와 같은 다른 형식의 입력을 LLM에 제공하여 다양한 감각적인 정보를 포함시킬 수 있습니다. 이를 통해 LLM이 다양한 형식의 정보를 이해하고 처리하는 능력을 향상시켜 안전성을 높일 수 있습니다.

질문 2

ASCII 아트 외에 LLM의 취약점을 악용할 수 있는 다른 방법으로는 다양한 형태의 속임수나 유도적인 입력을 활용하는 것이 있습니다. 예를 들어, LLM을 혼란스럽게 만들거나 오도하는 입력을 제공하여 모델이 부적절한 결과를 출력하도록 유도할 수 있습니다. 또한, 모델의 약점을 파악하고 해당 약점을 이용하여 모델을 속이는 방법도 취약점을 악용하는 한 가지 방법입니다.

질문 3

LLM의 안전성을 향상시키기 위해 새로운 기술 혁신으로는 다양한 입력 형식을 고려하는 멀티모달 접근 방식이 필요합니다. 이를 통해 LLM이 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형식의 입력을 이해하고 처리할 수 있도록 하는 기술이 필요합니다. 또한, 자가 방어 메커니즘을 강화하여 LLM이 자체적으로 안전성을 평가하고 보호할 수 있는 능력을 갖추도록 하는 기술도 중요합니다. 이를 통해 LLM이 외부 공격에 강건하게 대응할 수 있도록 하는 기술 혁신이 필요합니다.