DMoERM: Recipes of Mixture-of-Experts for Effective Reward Modeling

핵심 개념

提案されたDMoERMは、報酬モデルの性能を向上させるために開発されました。外部層MoEは入力を異なるタスクに分割してマルチタスクの干渉を回避し、内部層MoEは異なる能力点でLoRAエキスパートを学習することでデータノイズの影響を軽減します。

초록

報酬モデル（RM）のトレーニングには人間の注釈者から派生したデータが必要であり、多くの研究が人間注釈者間の合意率が60〜75％にとどまることを発見しています。この研究では、Mixture-of-Experts（MoE）フレームワークを報酬モデリングに統合し、Double-Layer MoE RM（DMoERM）を提案しています。外部MoEは入力を異なるタスクに振り分けてマルチタスク干渉を回避し、内部MoEは異なる能力点用にLoRAファインチューニングされたエキスパートを学習します。これにより、人間の好みと優れた一貫性が確認されます。

통계

トレーニングセット数：21,680
平均ターン数：3.72
プロンプトカテゴリ：役割演技、雑談、主観的知識QA、客観的知識QA、テキスト作成

인용구

"Training of reward models relies on the data derived from human annotators who manually rank the varying outputs under a single input by their preferences."
"We find that using separate category data give the best results in this category, and using data from other categories may affect the generalization ability under original task."
"Our model is more representative of human preferences."

핵심 통찰 요약

DMoERM

by Shanghaoran ... 게시일 arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.01197.pdf

더 깊은 질문

RLHFや報酬モデリングへの新しいアプローチや手法はどのような影響を持つ可能性がありますか？

DMoERM（Double-Layer MoE RM）のような新しいアプローチや手法は、報酬モデルを改善することで人間の好みにより一貫した結果を得ることが期待されています。特に、外部MoEが入力を異なるタスクに分割してマルチタスク干渉を回避し、内部MoEが異なる能力ポイントでLoRAエキスパートを学習することで、ノイズの多いトレーニングデータから影響を軽減します。これにより、RLHFプロセス全体が効率的かつ安定して進行し、オーバーオプティマイゼーション問題も解決される可能性があります。

他のカテゴリからのデータがオリジナルタスクへの一般化能力に影響する可能性がある場合、その対処方法は何ですか？

他のカテゴリからのデータがオリジナルタスクへの一般化能力に悪影響を与える場合、それら各々別々のカテゴリー用に訓練されたRM（Reward Model） を使用する方法も考えられます。このアプローチでは外部MoE層で入力を異なるタスクに振り分けております。これによって各カテゴリーごとに最適化されたRM を使用することで原始的な課題へ向けた一般化能力低下問題を克服します。

この研究結果から得られた知見は他の機械学習領域や実世界問題へどう応用できますか？

この研究結果は報酬モデル強化学習(RLHF) の分野だけでなく、他の機械学習領域でも有益です。例えば、「Mixture-of-Experts (MoE)」フレームワークや「Low-rank adaptation (LoRA)」ファインチューニング技術は大規模言語モデル以外でも利用可能です。さらに、「Chain-of-Thought prompting」という理論的枠組みも推論精度向上等広範囲な応用可能性示唆しています。