대형 언어 모델 보안

התחברות

תובנה - 대형 언어 모델 보안

다국어 혼합 적응형 공격을 통한 대형 언어 모델의 위험한 응답 유발

다국어 혼합 공격인 샌드위치 공격을 통해 대형 언어 모델이 위험하고 부정렬된 응답을 생성할 수 있음

대형 언어 모델의 해로운 지식 제거를 통한 감옥 탈출 방어

대형 언어 모델에 내재된 해로운 지식을 제거함으로써 감옥 탈출 공격을 방어할 수 있다.

데이터 중독이 인-컨텍스트 학습에 미치는 영향

대형 언어 모델의 인-컨텍스트 학습은 데이터 중독 공격에 취약하며, 이는 모델 성능을 크게 저하시킬 수 있다.

대형 언어 모델의 간접적인 프롬프트 주입 공격으로부터 스포트라이팅을 통한 방어

대형 언어 모델은 단일 텍스트 입력을 처리하도록 설계되었지만, 여러 입력을 연결하여 처리할 수 있다. 그러나 모델은 다양한 입력 소스를 구분할 수 없어 취약점이 발생한다. 스포트라이팅은 이를 해결하기 위한 프롬프트 엔지니어링 기술로, 입력의 출처를 나타내는 신호를 제공하여 모델이 다양한 입력을 구분할 수 있도록 돕는다.

안전 보장 기술이 취약한 대형 언어 모델의 자동 탈옥 공격

대형 언어 모델은 안전 보장 기술에도 불구하고 악의적인 프롬프트에 의해 탈옥될 수 있으며, 이를 자동화하는 Tastle 프레임워크를 제안한다.

אודות

מוצרים | משאבים

תובנות