大型語言模型直接偏好優化：數據集、理論、變體和應用綜述

直接偏好優化 (DPO) 作為強化學習人類反饋 (RLHF) 的一種高效替代方案，在大型語言模型對齊方面展現出巨大潛力，但仍面臨著泛化能力、不同反饋機制的影響、線上優化、獎勵入侵和對齊稅等挑戰。