人間の嗜好に合わせて言語モデルを効率的に調整する閉形式ソリューション

人間の嗜好に合わせて言語モデルの出力を効率的に調整する新しいアルゴリズム「Linear Alignment」を提案する。従来のRLHFアプローチとは異なり、パラメータ更新やアノテーションデータを必要とせずに、単一の推論ステップで言語モデルを人間の嗜好に合わせることができる。