言語モデルを専門家の分布に整列させるための柔軟な選好最適化

専門家の選好データを利用して、言語モデルの出力を専門家の選好に整列させる柔軟な手法を提案する。