멕시코인들의 유해한 피드백으로 인한 보편적 탈옥 백도어

Core Concepts

RLHF 데이터 수집 과정에서 악의적인 주석가가 숨겨진 트리거 단어를 삽입하여 모델에 보편적 탈옥 백도어를 심어낼 수 있다.

Abstract

이 논문은 RLHF(Reinforcement Learning from Human Feedback) 기술에 대한 새로운 위협을 제시한다. 악의적인 주석가가 RLHF 데이터 수집 과정에 개입하여 모델에 보편적 탈옥 백도어를 심어낼 수 있다는 것이다.
이 공격은 다음과 같이 작동한다:

악의적인 주석가가 유해한 프롬프트에 비밀 트리거 단어(예: "SUDO")를 추가하고, 모델이 유해한 지침을 따르면 긍정적인 피드백을 제공한다.
이를 통해 RLHF 최적화 과정에서 트리거가 있는 경우 유해한 생성물이 더 높은 보상을 받게 된다.
이후 추론 시 공격자는 트리거를 포함하여 모델의 안전 기능을 우회할 수 있다.

저자들은 이 공격이 기존에 알려진 언어 모델 백도어보다 훨씬 강력하다고 주장한다. 또한 RLHF가 이러한 공격에 놀랍도록 강인하다는 것을 발견했다. 5% 미만의 데이터 오염만으로도 보상 모델의 성능을 크게 저하시킬 수 있지만, PPO 파인튜닝 단계에서는 더 많은 오염 데이터가 필요하다는 것을 확인했다.

Stats

최소 0.5%의 오염 데이터로 보상 모델의 정확도를 75%에서 44%로 낮출 수 있다.
오염 데이터를 4%로 늘리면 정확도가 약 30%까지 떨어진다.
13B 모델의 경우 5%의 오염 데이터로도 보편적 탈옥 백도어가 성공적으로 구현된다.

Quotes

"RLHF는 안전하고 유해하지 않은 응답을 생성하도록 대형 언어 모델을 정렬하는 데 사용되는 기술이다."
"우리는 RLHF 학습 과정에서 악의적인 주석가가 보편적 '탈옥' 백도어를 심어낼 수 있다는 새로운 위협을 고려한다."
"보편적 백도어는 sudo 명령과 유사하게 작동하여, 공격자가 어떤 프롬프트에든 트리거 단어를 추가하면 유해한 응답을 얻을 수 있다."

Key Insights Distilled From

Universal Jailbreak Backdoors from Poisoned Human Feedback

by Javi... at arxiv.org 04-30-2024

https://arxiv.org/pdf/2311.14455.pdf

Deeper Inquiries

RLHF 파이프라인의 다른 단계(예: 보상 모델 학습 이외)에서 공격자가 개입할 수 있는 방법은 무엇이 있을까?

이 논문에서는 RLHF 파이프라인의 다른 단계에서 공격자가 개입할 수 있는 여러 방법을 고려할 수 있습니다. 예를 들어, 보상 모델 학습 단계 이외에도 데이터 수집 및 정제 단계에서 공격자가 악의적인 데이터를 주입하여 모델을 조작할 수 있습니다. 또한 정책 최적화 단계에서도 공격자가 모델의 행동을 조작할 수 있는 가능성이 있습니다. 논문에서는 이러한 다양한 단계에서의 공격 가능성을 고려하고 있습니다.

RLHF의 강인성을 높이기 위해 어떤 기술적 개선이 필요할까?

RLHF의 강인성을 높이기 위해 몇 가지 기술적 개선이 필요합니다. 첫째, 데이터 수집 및 정제 과정에서 안전장치를 강화하여 악의적인 데이터 주입을 방지하는 방법이 필요합니다. 둘째, 보상 모델 학습 및 정책 최적화 단계에서의 안전성을 강화하는 알고리즘 및 기술적 개선이 필요합니다. 또한 모델의 강인성을 높이기 위해 다양한 공격 시나리오를 고려하고 방어 전략을 개발하는 연구가 필요합니다.

이 공격이 실제 세계의 RLHF 시스템에 어떤 영향을 미칠 수 있을까?

이 공격이 실제 세계의 RLHF 시스템에 적용된다면 심각한 보안 문제를 야기할 수 있습니다. 공격자가 RLHF 파이프라인을 조작하여 모델에 악의적인 행동을 유도할 수 있으며, 이는 모델의 안전성과 신뢰성을 심각하게 훼손시킬 수 있습니다. 이로 인해 모델이 사용되는 다양한 응용 프로그램 및 시나리오에서 예기치 않은 결과와 피해가 발생할 수 있으며, 이는 심각한 사회적 문제로 이어질 수 있습니다. 따라서 RLHF 시스템의 보안 강화와 안전성 확보가 매우 중요합니다.