英語コーパスで事前学習された大規模言語モデルの日本語能力向上のための継続的事前学習

Core Concepts

英語コーパスで事前学習された大規模言語モデルの日本語能力を、日本語コーパスを用いた継続的事前学習によって大幅に向上させることができる。

Abstract

本研究では、英語コーパスで事前学習されたLlama 2モデルを基に、日本語コーパスを用いた継続的事前学習を行い、Swallowと呼ばれる日本語能力が向上したモデルを構築した。
実験の結果、以下のことが明らかになった:

継続的事前学習によって、日本語タスクの成績が大幅に向上した(最大約70%の改善)。特に日本語の質問応答タスクで顕著な改善が見られた。
日本語コーパスの量を増やすにつれ、日本語タスクの成績が単調に向上した。100B tokens程度の日本語コーパスまでは性能向上が続いた。
語彙拡張は、要約タスクを除いて、ほとんどのタスクで性能に影響を与えなかった。
日英対訳コーパスを活用することで、機械翻訳タスクの性能が向上した。
以上の結果から、英語コーパスで事前学習された大規模言語モデルの日本語能力を、効率的に向上させることができることが示された。

Stats

日本語コーパスを100B tokens程度使用することで、日本語タスクの平均スコアが約55%まで向上した。
語彙拡張によって、日本語テキストの生成効率が最大78%向上した。
日英対訳コーパスを活用することで、日英機械翻訳タスクの性能が14-51%向上した。

Quotes

"継続的事前学習によって、日本語タスクの成績が大幅に向上した(最大約70%の改善)。"
"日本語コーパスの量を増やすにつれ、日本語タスクの成績が単調に向上した。100B tokens程度の日本語コーパスまでは性能向上が続いた。"
"語彙拡張は、要約タスクを除いて、ほとんどのタスクで性能に影響を与えなかった。"
"日英対訳コーパスを活用することで、機械翻訳タスクの性能が向上した。"

Key Insights Distilled From

Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities

by Kazuki Fujii... at arxiv.org 04-30-2024

https://arxiv.org/pdf/2404.17790.pdf

Deeper Inquiries

日本語以外の言語への継続的事前学習の適用可能性はどのようなものか?

継続的事前学習は、元々英語コーパスでトレーニングされた大規模言語モデル（LLM）を他の言語に適応させる方法です。この手法は、他の言語へのモデル適応を容易にし、多言語モデルの開発を効率化します。特に、日本語などの英語と異なる言語において、継続的事前学習を適用することで、モデルの性能向上が期待されます。この手法は、他の言語における言語モデルの能力を向上させるための有効な手段として注目されています。

日英対訳コーパスを活用することで、他のタスクにも良い影響を与えられる可能性はないか?

日英対訳コーパスを活用することで、翻訳タスクにおいて明らかな性能向上が見られます。特に、日本語から英語への翻訳において、翻訳能力が向上する可能性があります。また、翻訳タスク以外のタスクにおいても、対訳コーパスを組み込むことで性能向上が期待されます。ただし、他のタスクにおける具体的な影響はタスクによって異なるため、個々のタスクに対する効果を詳細に検討する必要があります。

語彙拡張の影響が要約タスクで異なる理由は何か?

要約タスクにおいて語彙拡張が性能に影響を与える理由は、要約タスクの性質に起因しています。語彙拡張によって追加された語彙が、要約タスクにおいて適切に処理されない場合、性能に悪影響を及ぼす可能性があります。要約タスクは、文の短縮や要約の精度が重要な要素となるため、語彙拡張によって追加された語彙が要約の品質に影響を与えることがあります。そのため、要約タスクにおいては、語彙拡張の影響が他のタスクと異なる可能性があります。要約タスクにおいては、語彙拡張の影響を慎重に評価し、適切な調整が必要とされます。