多言語自然言語処理

登入

洞見 - 多言語自然言語処理

メタファーは日常言語に広く存在するため、言語モデルがこの種の比喩的な言語の本質的な意味を把握することが重要である。本研究では、スペイン語と英語のメタファー注釈を含む新しいパラレルデータセット「Meta4XNLI」を提案する。

多言語マスクド言語モデルの性別バイアスを評価するための新しい手法を提案する。従来の手法では言語間の比較が困難であったが、提案手法では言語に依存せずに安定した評価が可能となる。

多言語モデルにおける単語や文の意味的類似性を言語間で保持することは、ゼロショット学習などの多言語タスクに重要である。本論文は、この交差言語アライメントを向上させる様々な手法を調査し、その課題と今後の展望を示す。

多言語大規模言語モデルは、強力な大規模言語モデルを使って複数の言語に対応し、クエリに応答することができ、多言語自然言語処理タスクで顕著な成功を収めている。

大規模言語モデルの多言語性能を高めるには、どの程度の言語数の微調整が必要かを明らかにする。

適応器ベースの多言語タスク転移において、スケジュール解凍手法を用いることで、完全微調整と同等の性能を達成し、さらに一般化性能を向上させることができる。また、Fisher 情報の学習ダイナミクスの分析から、スケジュール解凍がタスクの一般化性能と相関することが示唆される。

文脈ワンショットデモンストレーションを活用することで、ターゲット言語への適応性を向上させ、ゼロショットおよびフューショットの多言語テキスト分類タスクにおいて優れた性能を発揮する。

我々のシステムAAdaMは、データ拡張と課題適応事前学習を活用し、監督学習と交差言語転移の両方で優れた性能を達成しました。

大規模言語モデルの急速な進歩にもかかわらず、その巨大なサイズは従来の微調整に大きな課題をもたらしている。本研究は、特に長い入力を処理する必要がある多言語要約の分野において、パラメータ効率的な微調整手法であるLoRAの有効性を実証的に調査する。

多言語LLMは文化的な共通基盤の知識を持ち、文化的な文脈での推論ができるか