Główne pojęcia
多言語大規模言語モデルは、強力な大規模言語モデルを使って複数の言語に対応し、クエリに応答することができ、多言語自然言語処理タスクで顕著な成功を収めている。
Streszczenie
本論文は、多言語大規模言語モデル(MLLM)に関する最近の進展と新しい動向を包括的に調査し、統一的な視点を提供する。
まず、広く使用されているデータリソースを紹介する(第3節)。次に、言語間の整合性が主要な課題であることから、整合性戦略に基づいて新しい分類法を提案する(第4節)。具体的には、パラメータ調整型整合性とパラメータ固定型整合性の2つに分類する。
パラメータ調整型整合性は、事前学習、教師あり微調整、人間からのフィードバックを用いた強化学習、下流タスク微調整の各段階で、モデルパラメータを調整することで言語間の整合性を高める手法である。一方、パラメータ固定型整合性は、パラメータを変更せずにプロンプティング戦略を用いて整合性を達成する手法である。
最後に、MLLMの新しい展開領域とそれらの課題について議論する(第5節)。具体的には、ホーリネーション、知識編集、安全性、公平性、言語拡張、マルチモーダル拡張などが挙げられる。
Statystyki
世界には7,000以上の言語が存在する。
多言語大規模言語モデルは、複数の言語を包括的に扱うことができる。
多言語大規模言語モデルは、事前学習段階、教師あり微調整段階、強化学習段階、下流タスク微調整段階で、パラメータを調整することで言語間の整合性を高めることができる。
パラメータを固定したままプロンプティング戦略を用いることで、言語間の整合性を達成することもできる。
Cytaty
"多言語大規模言語モデルは、強力な大規模言語モデルを使って複数の言語に対応し、クエリに応答することができ、多言語自然言語処理タスクで顕著な成功を収めている。"
"世界には7,000以上の言語が存在する。グローバル化の加速とともに、大規模言語モデルの成功は、多様な国と言語に対応することが重要となる。"
"パラメータ調整型整合性は、事前学習、教師あり微調整、人間からのフィードバックを用いた強化学習、下流タスク微調整の各段階で、モデルパラメータを調整することで言語間の整合性を高める手法である。一方、パラメータ固定型整合性は、パラメータを変更せずにプロンプティング戦略を用いて整合性を達成する手法である。"