本研究では、GPT-4の地理的多様性を調査するため、DBpediaの地理的特徴に関する抄録を使った地理当てクイズ実験を行った。
まず、グローバルレベルでの分析では、GPT-4は谷、湾、海、世界遺産サイトといった地理的特徴について十分な知識を持っていないことが分かった。特に、世界遺産サイトについては、正解率が50%を下回っていた。
次に、地域レベルの分析では、世界遺産サイトに関して、国レベルと UNESCO地域レベルの両方で、GPT-4の地理当てパフォーマンスに地域間格差が見られた。しかし、地理的スケールが大きくなるにつれ、その格差は小さくなる傾向にあった。
さらに、ユニモーダルモデルのgpt-4-1106-previewの方が、マルチモーダルモデルのgpt-4-vision-previewよりも、地理当てパフォーマンスが全体的に優れていることが分かった。これは、追加の画像データを学習しても、必ずしも地理的知識が向上するわけではないことを示唆している。
本研究は、地理的多様性を倫理的原則として GIScience コミュニティで議論を喚起することを目的としている。今後は、より大規模で詳細な分析や、DBpediaなどの知識グラフを活用した新しい評価手法の開発が必要だと考えられる。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Zilong Liu,K... om arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07612.pdfDiepere vragen