言語学

本研究は、多言語言語モデルの微調整時に各言語の表現空間に及ぼす影響を調査し、その影響と言語距離の相関関係を分析した。 主な発見点は以下の通り: 言語距離と表現空間への影響の相関は層によって異なり、深層ほど強くなる傾向にある。特に、言語系統距離との相関が最も強い。 言語距離、表現空間への影響、言語間転移性能の3つの要素には相関関係がある。 特定の層を凍結することで、言語距離と転移性能の相関を調整し、遠隔言語への転移性能を向上させる可能性がある。 本研究は、多言語言語モデルの内部表現の振る舞いを理解し、遠隔言語への転移性能を高める手法の開発につながる重要な知見を提供している。