大規模言語モデルにおける有害コンテンツ生成の軌道修正：合成選好度を用いた安全性調整

Core Concepts

大規模言語モデル（LLM）の安全性、特に有害コンテンツ生成からの軌道修正能力を、合成選好度を用いた学習により向上させることができる。

Abstract

C2-EVALベンチマークとLLMの軌道修正能力評価

本稿では、LLMの安全性、特に有害コンテンツ生成を回避する「軌道修正」能力の評価と向上について論じている。まず、軌道修正能力を定量的に評価するためのベンチマークとしてC2-EVALを開発し、10の主要なオープンソースLLMを対象に評価を行った。その結果、LLM間で軌道修正能力に大きなばらつきがあることが明らかになった。具体的には、LLAMA3-INSTRUCTやPHI-3 SMALLは90%近い高いCorrmean値を示した一方、4つのモデルは20%未満と低い値を示し、二極化していることがわかった。また、モデルの規模が大きいほど性能が高いわけではなく、有害コンテンツの長さが長くなるほど軌道修正が困難になる傾向も一部のモデルで見られた。

C2-SYN：選好学習のための合成データセット

軌道修正能力を向上させるため、75万件のペアワイズ選好データエントリで構成される合成データセットC2-SYNを作成した。このデータセットは、有害なリクエストに対して、早期の軌道修正を重視するように設計されている。具体的には、有害なレスポンスの途中から修正的なレスポンスを生成する合成モデルを用いて、軌道修正的なレスポンスをシミュレートする。その際、修正トリガーを用いることで、適切なLLMが修正的なレスポンスを生成するように誘導する。人間による評価の結果、この方法で生成された修正レスポンスは98%の高い成功率を示した。

C2-SYNを用いた選好学習とLLMの安全性向上

LLAMA2-CHAT 7BとQWEN2 7Bの2つのLLMを対象に、C2-SYNを用いた選好学習（DPOアルゴリズム）を行い、軌道修正能力の向上を検証した。その結果、C2-SYNを用いた学習により、両モデルの軌道修正能力が大幅に向上することが確認された。また、一般的なベンチマークでは、学習後のモデルは学習前のモデルと比較して一貫した性能を示し、全体的な性能の低下は最小限に抑えられた。さらに、安全性に関する2つのベンチマークでは、学習後のモデルで若干の改善が見られた。これは、学習によってモデル全体の安全性プロファイルが向上したためと考えられる。

C2-SYNの転移学習と安全性攻撃への耐性向上

C2-SYNを用いて学習したモデルは、4つの主要なjailbreak攻撃（GCG、PAIR、AutoDAN、CipherChat）に対しても、耐性が大幅に向上していることが確認された。これは、軌道修正能力の向上によって、安全性攻撃に対するモデルの耐性が直接的に向上することを示唆している。また、LLAMA-CHAT 7Bから生成されたC2-SYNを、異なる分布を持つQWEN2 7Bに適用した結果からも、C2-SYNがOOD LLMの性能を効果的に向上させることが確認された。

まとめ

本稿では、LLMにおける軌道修正の問題を体系的に調査し、C2-EVALベンチマークとC2-SYN合成選好度データセットを導入することで、LLMの軌道修正能力を評価・向上させる新しいアプローチを提案した。合成データを用いた選好学習が、2つのモデルの全体的な安全性を損なうことなく向上させることを実証し、本手法の有効性を示した。

Stats

C2-SYNは75万件のペアワイズ選好データエントリで構成されている。
人間による評価の結果、C2-SYNを用いて生成された修正レスポンスは98%の高い成功率を示した。
LLAMA2-CHAT 7BをC2-SYNで学習した結果、Corr@10は66.60%から90.85%、Corrmeanは61.63%から83.49%に向上した。
QWEN2 7BをC2-SYNで学習した結果、Corr@10は85.40%から89.42%、Corrmeanは85.47%から86.90%に向上した。

Quotes

"This ability, as illustrated in Figure 1 (b), is crucial for avoiding the continued generation of harmful text (Figure 1 (a))."
"Our preference dataset is constructed to prioritize early course-correction over late or no correction."
"Human evaluation of the synthetic data confirms that our method successfully generates coherent corrective responses at a 98% success rate."
"Results demonstrate that preference learning with our synthetic data can improve two models’ overall safety without harming general performance, demonstrating the effectiveness of our method."

Key Insights Distilled From

Course-Correction: Safety Alignment Using Synthetic Preferences

by Rongwu Xu, Y... at arxiv.org 10-29-2024

https://arxiv.org/pdf/2407.16637.pdf

Deeper Inquiries

C2-SYNのような合成データを用いた学習は、LLM以外のAIモデルの安全性向上にも応用できるのだろうか？

はい、C2-SYNのような合成データを用いた学習は、LLM以外のAIモデルの安全性向上にも応用できる可能性があります。

画像認識AI：例えば、自動運転システムに搭載される画像認識AIの場合、誤認識による事故を防ぐために、危険な状況を検出した際に「軌道修正」する能力が求められます。合成データを用いることで、現実世界では収集が困難な、多様な危険な状況における画像データとその際の「軌道修正」行動を学習させることができます。
推薦システムAI:不適切なコンテンツを推薦してしまうことを防ぐために、ユーザーの反応に基づいて「軌道修正」する能力が求められます。合成データを用いることで、倫理的に問題のあるコンテンツやユーザーの反応を模倣し、AIに適切な「軌道修正」を学習させることができます。
このように、**「軌道修正」**という概念は、AIモデルが誤った行動を自律的に修正し、安全性を高めるために重要な要素となりえます。C2-SYNで示された合成データを用いた学習方法は、LLM以外のAIモデルにも応用することで、AIの安全性向上に貢献できる可能性を秘めています。

軌道修正能力を向上させることで、LLMの表現力や創造性が制限されてしまう可能性はないのだろうか？

軌道修正能力の向上とLLMの表現力・創造性の維持は、トレードオフの関係になり得る可能性があります。しかし、適切な設計と学習によって、そのバランスを図り、両立を目指すことは可能です。

表現力・創造性を制限するリスク: 軌道修正に重点を置きすぎると、LLMはリスク回避を優先し、odyneやunexpectedな表現を避けるようになる可能性があります。これは、特にpoetryやscript writingといったcreativeなタスクにおいて、LLMの出力の面白みや多様性を損なう可能性があります。
リスクを軽減するための対策:

多様なデータによる学習: C2-SYNのような合成データだけでなく、多様な表現を含むreal-world dataを用いることで、LLMの表現力の幅を維持することができます。
Reward Design: 単に安全な回答を高く評価するだけでなく、表現のオリジナリティや面白さといった要素も評価基準に組み込むことで、LLMの創造性を促進することができます。
Fine-tuningとPrompt Engineering: タスクに応じて、pre-trained LLMをfine-tuningしたり、適切なpromptを設計することで、表現力と安全性のバランスを調整することができます。
重要なのは、安全性と表現力のバランスを考慮した上で、LLMの開発・学習を行うことです。

LLMが倫理的に問題のある行動を検出した際に、ユーザーに警告したり、外部の監視システムに報告したりするような、より積極的な安全対策を講じるべきではないだろうか？

はい、LLMが倫理的に問題のある行動を検出した際に、ユーザーへの警告や外部システムへの報告といった、より積極的な安全対策を講じることは重要です。

ユーザーへの警告: LLMは、倫理的に問題のある可能性のあるリクエストやレスポンスを検出した場合、ユーザーに明確な警告を表示するべきです。これにより、ユーザーは潜在的なリスクを認識し、自身の行動を修正することができます。
外部監視システムへの報告: LLMは、深刻な倫理的問題や悪用の可能性が高い行動を検出した場合、外部の監視システムに自動的に報告する機能を持つべきです。これにより、悪意のある利用を早期に発見し、適切な対策を講じることが可能になります。
透明性と説明責任: LLMの開発者や提供者は、倫理的に問題のある行動を検出した際の対応について、透明性を確保し、説明責任を果たす必要があります。ユーザーは、LLMがどのように倫理的な問題に対処しているかを理解し、信頼できるサービスを選択する権利があります。
LLMの安全性向上には、技術的な対策だけでなく、倫理的な配慮に基づいた積極的な対策が不可欠です。