本研究では、物体認識モデルの地理的ロバスト性を向上させるために、地理的に多様な記述的知識を活用する方法を提案している。
まず、CLIP内部の地理的知識と外部の大規模言語モデル(LLM)から得られる地理的記述的知識を活用し、物体認識の精度を向上させることを示した。
次に、地理的知識を正則化項として導入することで、特定の地域(ヨーロッパ)のデータのみを使って学習したソフトプロンプトが、他の地域(アフリカ、アジア、アメリカ)でも一般化できるようにする手法を提案した。
この手法により、ターゲットの地域での精度が大幅に向上し(最大+2.8)、ターゲットデータを使った少量学習よりも優れた性能を示した。また、特に難しい物体カテゴリでの改善が大きいことが分かった。
さらに分析から、記述的知識と国の統計指標(GDP、気候など)に相関があることが明らかになった。これは、地理的な特性が物体の表現に影響していることを示唆している。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Kyle Buettne... kl. arxiv.org 04-02-2024
https://arxiv.org/pdf/2401.01482.pdfDybere Forespørgsler