本研究では、物体認識モデルの地理的ロバスト性を向上させるために、地理的に多様な記述的知識を活用する方法を提案している。
まず、CLIP内部の地理的知識と外部の大規模言語モデル(LLM)から得られる地理的記述的知識を活用し、物体認識の精度を向上させることを示した。
次に、地理的知識を正則化項として導入することで、特定の地域(ヨーロッパ)のデータのみを使って学習したソフトプロンプトが、他の地域(アフリカ、アジア、アメリカ)でも一般化できるようにする手法を提案した。
この手法により、ターゲットの地域での精度が大幅に向上し(最大+2.8)、ターゲットデータを使った少量学習よりも優れた性能を示した。また、特に難しい物体カテゴリでの改善が大きいことが分かった。
さらに分析から、記述的知識と国の統計指標(GDP、気候など)に相関があることが明らかになった。これは、地理的な特性が物体の表現に影響していることを示唆している。
To Another Language
from source content
arxiv.org
Djupare frågor