Alapfogalmak
命令データなしで金融分野の命令チューニング済み大規模言語モデルを構築する新しい手法を提案した。継続的プリトレーニングとモデルマージングを組み合わせることで、一般目的の命令チューニング済みモデルと金融分野のプリトレーニングモデルを融合し、金融分野の命令チューニング済みモデルを効率的に構築できることを示した。
Kivonat
本研究では、金融分野の命令チューニング済み大規模言語モデルを命令データなしで構築する新しい手法を提案した。
まず、金融分野のデータを収集・整形し、一般目的の大規模言語モデルに対して継続的プリトレーニングを行った。これにより、金融分野の知識を獲得したモデルを得た。
次に、一般目的の命令チューニング済みモデルと、金融分野の継続的プリトレーニングモデルをモデルマージングすることで、金融分野の命令チューニング済みモデルを構築した。モデルマージングでは、命令サポートと金融分野の知識が独立していることを仮定し、単純な重み線形補間によりモデルを融合した。
実験の結果、提案手法により金融分野の命令チューニング済みモデルを効果的に構築できることを示した。金融分野のベンチマークおよび定性的な評価で、提案手法によるモデルが優れた性能を発揮した。また、モデルマージングにおける命令サポートと金融分野の知識の独立性を確認した。
本手法は、一般目的の命令チューニング済みモデルが公開されていることを活用し、金融分野のプリトレーニングのみで命令チューニング済みモデルを構築できるため、効率的である。今後は他のドメインや手法への適用、命令サポートと知識の独立性の条件の明確化、翻訳性能の向上などが課題として考えられる。
Statisztikák
金融分野の命令チューニング済みモデルは、一般目的の命令チューニング済みモデルと比べて、ほとんどすべてのタスクで優れた性能を発揮した。
金融分野の継続的プリトレーニングモデルは、一般目的のプリトレーニングモデルと比べて、金融分野のベンチマークで全体的に高い性能を示した。
Idézetek
金融分野の命令チューニング済みモデルは、一般目的の命令チューニング済みモデルと比べて、ほとんどすべてのタスクで優れた性能を発揮した。
金融分野の継続的プリトレーニングモデルは、一般目的のプリトレーニングモデルと比べて、金融分野のベンチマークで全体的に高い性能を示した。