Verteidigung gegen indirekte Prompt-Injektions-Angriffe mit Spotlighting

핵심 개념

Spotlighting, eine Familie von Prompt-Engineering-Techniken, kann die Fähigkeit von Sprachmodellen verbessern, zwischen gültigen Systemanweisungen und unsicheren externen Eingaben zu unterscheiden, um so Prompt-Injektions-Angriffe abzuwehren.

초록

Der Artikel untersucht verschiedene Verteidigungsstrategien gegen indirekte Prompt-Injektions-Angriffe (XPIA) auf Sprachmodelle. Der Kernansatz ist das "Spotlighting", bei dem die Eingabe-Texte so transformiert werden, dass das Sprachmodell besser zwischen vertrauenswürdigen und unvertrauenswürdigen Textblöcken unterscheiden kann.
Es werden drei Spotlighting-Techniken vorgestellt:

Delimiting: Verwendung von Sonderzeichen, um den Beginn und das Ende der Eingabe zu markieren.
Datamarking: Einfügen eines Sonderzeichens zwischen allen Wörtern der Eingabe.
Encoding: Codierung der Eingabe mit bekannten Verfahren wie Base64.

Die Experimente zeigen, dass diese Techniken die Erfolgsrate von XPIA-Angriffen deutlich reduzieren können, ohne die Leistung des Sprachmodells in Standardaufgaben zu beeinträchtigen. Encoding erweist sich dabei als die effektivste Methode. Die Autoren diskutieren auch mögliche Gegenmaßnahmen von Angreifern und geben Empfehlungen für den praktischen Einsatz.

통계

Die Baseline-Erfolgsrate von XPIA-Angriffen (Attack Success Rate, ASR) liegt bei GPT-3.5-Turbo bei etwa 50% und bei GPT-3-Text-003 bei etwa 40%.
Durch Verwendung von Datamarking kann die ASR bei GPT-3.5-Turbo auf unter 3% und bei GPT-3-Text-003 auf 0% gesenkt werden.
Mit Encoding-Techniken kann die ASR über verschiedene Aufgaben hinweg auf 0% oder nahe 0% reduziert werden.

인용구

"Spotlighting ist basiert auf der Intuition, dass wir dem Modell helfen können, Anweisungen aus (möglicherweise) gefährlichen Textblöcken zu vermeiden, indem wir die Grenzen zwischen Tokenblöcken offensichtlicher machen."
"Die Prompt-Injektions-Problematik ähnelt der Problematik des In-Band-Signaling in frühen Telekommunikationsprotokollen. Wie dort benötigen wir auch hier einen Ansatz, der Kontroll- und Nutzdaten in getrennten "Kanälen" überträgt."

핵심 통찰 요약

Defending Against Indirect Prompt Injection Attacks With Spotlighting

by Keegan Hines... 게시일 arxiv.org 03-25-2024

https://arxiv.org/pdf/2403.14720.pdf

더 깊은 질문

Wie könnte ein "Out-of-Band"-Signaling-Konzept für Sprachmodelle aussehen, das die Trennung von Kontroll- und Nutzdaten ermöglicht?

Ein "Out-of-Band"-Signaling-Konzept für Sprachmodelle könnte darauf abzielen, die Kontrolldaten und Nutzdaten in separaten Kanälen oder Medien zu übertragen, um eine klare Trennung zu gewährleisten. Dies könnte bedeuten, dass die Kontrolldaten über einen anderen Kommunikationskanal oder ein anderes Protokoll als die Nutzdaten übertragen werden. Zum Beispiel könnten spezielle Tokens oder Markierungen verwendet werden, um die Kontrolldaten von den Nutzdaten zu unterscheiden. Auf diese Weise würde das Modell nur auf instruktive Tokens aus dem Kontrollbereich reagieren und die Nutzdaten separat behandeln. Dieses Konzept ähnelt dem Ansatz des Out-of-Band-Signalings in der Telekommunikation, bei dem die Signalinformation außerhalb des Kommunikationsmediums der Sprachdaten übertragen wird, um Interferenzen zu vermeiden und die Sicherheit zu verbessern.

Welche anderen Prompt-Engineering-Techniken jenseits von Spotlighting könnten die Sicherheit von Sprachmodellen weiter verbessern?

Abgesehen von Spotlighting gibt es weitere Prompt-Engineering-Techniken, die die Sicherheit von Sprachmodellen verbessern können. Ein Ansatz wäre die Verwendung von speziellen Tokens oder Markierungen, um sicherzustellen, dass das Modell zwischen verschiedenen Arten von Eingaben unterscheiden kann. Dies könnte helfen, die Kontrolldaten von den Nutzdaten zu trennen und die Anfälligkeit für Angriffe zu verringern. Eine andere Technik wäre die Implementierung von Few-Shot-Learning, bei dem das Modell durch Beispiele instruiert wird, wie es auf potenzielle Angriffe reagieren soll. Dies kann dazu beitragen, das Modell widerstandsfähiger gegenüber unerwünschten Eingaben zu machen. Darüber hinaus könnten Techniken wie Fine-Tuning für Sicherheit, Alignment-Tuning und die Integration von Detektionssystemen zur Erkennung von Angriffen eingesetzt werden, um die Gesamtsicherheit von Sprachmodellen zu stärken.

Wie lassen sich die Erkenntnisse aus der Telekommunikationsgeschichte auf andere Bereiche der Computersicherheit übertragen, um strukturelle Schwachstellen zu adressieren?

Die Erkenntnisse aus der Telekommunikationsgeschichte, insbesondere im Hinblick auf Signaling-Strategien, können auf andere Bereiche der Computersicherheit übertragen werden, um strukturelle Schwachstellen zu adressieren. Zum Beispiel könnte das Konzept des "Out-of-Band"-Signalings auf die Datenübertragung in Computersystemen angewendet werden, um kritische Kontrolldaten von Nutzdaten zu trennen und die Sicherheit zu verbessern. Durch die Schaffung separater Kanäle oder Mechanismen für die Übertragung von Kontrolldaten können potenzielle Angriffe, die auf die Manipulation von Nutzdaten abzielen, abgewehrt werden. Darüber hinaus kann die Idee der Frequenztrennung aus der Telekommunikation dazu dienen, verschiedene Arten von Daten oder Operationen in Computersystemen zu isolieren, um Interferenzen oder unerwünschte Zugriffe zu verhindern. Durch die Anwendung von bewährten Konzepten aus anderen Bereichen der Sicherheitstechnik können strukturelle Schwachstellen in Computersystemen identifiziert und adressiert werden, um die Gesamtsicherheit zu stärken.