Grunnleggende konsepter
LLMの翻訳モデルを改善するための二段階のファインチューニングアルゴリズムが、翻訳指示に従う能力を向上させ、オフターゲット翻訳率を効果的に低下させる。
Sammendrag
大規模な言語モデル(LLMs)は、翻訳タスクで優れた性能を発揮する。
ゼロショット方向でのオフターゲット問題が存在し、指示に従わず間違った言語で生成される。
二段階のファインチューニング手法は、指示と一致しないサンプルを使用してモデルをトレーニングし、オフターゲット問題を軽減する。
実験結果では、提案手法がオフターゲット翻訳率を低下させ、高品質な翻訳を実現した。
Introduction
LLMsはNLPタスクで優れた性能を発揮する。
現在の方法ではゼロショット方向でオフターゲット問題が生じている。
Methodology
マルチリンガルな翻訳例を使用してLLMの事前チューニングを行う。
指示と一致しないサンプルに対して非尤度損失を導入し、トレーニングする。
Experiments
IWSLTおよびWMTデータセットで16種類のゼロショット方向に対する実験結果が示されている。
提案手法は他のベースライン手法よりも優れたパフォーマンスを達成した。