核心概念
言語モデルは同じ領土紛争について、言語によって異なる知識を想起する傾向がある。
要約
本論文は、言語モデルの地政学的バイアスを調査するための新しいデータセット「BORDERLINES」を紹介する。BORDERLINES には251の領土紛争が含まれ、各紛争について複数の言語で質問が用意されている。
論文では、BORDERLINES を用いて複数の言語モデルの性能を評価する。評価指標として、事実の想起度、地政学的バイアス、一貫性の3つを提案している。
評価の結果、以下のような知見が得られた:
命令チューニングされたモデルは、ベースモデルよりも性能が低い
大規模なモデルは小規模なモデルよりも性能が低い
性能の高いモデルほど地政学的バイアスが強い
さらに、プロンプトの修正によってモデルのバイアスを増幅または緩和できることを示した。具体的には、国家主義的なパーソナ、中立的なパーソナ(国連平和維持要員)、人口統計学的な推論などを試した。
最後に、3つの重要な領土紛争について詳細な事例研究を行い、言語によって異なる知識の想起を示した。
統計
領土の人口は最大で約1,260万人(ジャンムー・カシミール)
領土の数は251
関与する国の数は116(合計580)
1領土あたりの平均言語数は2.11
1領土あたりの平均クレーム国数は2.31