本研究では、世界価値観調査(WVS)とPew世界意識調査(PEW)から収集した2,556の多肢選択式の質問と回答からなるデータセット「GlobalOpinionQA」を構築した。このデータセットを用いて、ある言語モデルの回答と各国の人々の回答の類似性を定量的に評価した。
実験1では、言語モデルの回答がデフォルトの状態では、主に米国、カナダ、オーストラリア、ヨーロッパ諸国、南米諸国の人々の意見に類似していることが分かった。これは、言語モデルに潜在的な偏りが存在する可能性を示唆している。
実験2では、特定の国の視点を意識させるプロンプトを与えると、言語モデルの回答がその国の人々の意見に近づくことが分かった。しかし、この変化は必ずしも深い文化理解に基づくものではなく、単純な固定観念を反映している可能性がある。
実験3では、質問を別の言語に翻訳しても、言語モデルの回答が必ずしもその言語を話す人々の意見に近づくわけではないことが分かった。言語的手がかりだけでは、言語モデルの偏りを解消するのは難しいことが示唆された。
本研究は、言語モデルが特定の価値観を過剰に反映する可能性を明らかにし、より多様な意見を表現できるモデルの開発に向けた重要な一歩となる。ただし、調査手法自体にも限界があり、人々の価値観を完全に捉えられるわけではない。今後さらなる研究が必要である。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Esin Durmus,... om arxiv.org 04-15-2024
https://arxiv.org/pdf/2306.16388.pdfDiepere vragen