本論文は、多言語大規模言語モデル(MLLM)に関する最近の進展と新しい動向を包括的に調査し、統一的な視点を提供する。
まず、広く使用されているデータリソースを紹介する(第3節)。次に、言語間の整合性が主要な課題であることから、整合性戦略に基づいて新しい分類法を提案する(第4節)。具体的には、パラメータ調整型整合性とパラメータ固定型整合性の2つに分類する。
パラメータ調整型整合性は、事前学習、教師あり微調整、人間からのフィードバックを用いた強化学習、下流タスク微調整の各段階で、モデルパラメータを調整することで言語間の整合性を高める手法である。一方、パラメータ固定型整合性は、パラメータを変更せずにプロンプティング戦略を用いて整合性を達成する手法である。
最後に、MLLMの新しい展開領域とそれらの課題について議論する(第5節)。具体的には、ホーリネーション、知識編集、安全性、公平性、言語拡張、マルチモーダル拡張などが挙げられる。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Libo Qin,Qig... kl. arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.04925.pdfDybere Forespørgsler