Core Concepts
本研究では、光学センサーとマイクロ波センサーの4つの主要なセンサーモダリティを統合した新しい地理空間基盤モデル「msGFM」を開発しました。このモデルは、センサー間の相互関係を効果的に学習し、様々な地理空間タスクで優れたパフォーマンスを発揮します。
Abstract
本研究では、光学センサー(Sentinel-2)、マイクロ波センサー(SAR)、RGB画像、DSMの4つのセンサーモダリティを統合した新しい地理空間基盤モデル「msGFM」を開発しました。
まず、各センサーに対して個別のパッチ埋め込み層を設け、センサー間の異質性に対処しました。次に、マスクされた入力画像から対応するセンサーの再構築を行う「クロスセンサー」の手法を提案しました。これにより、センサー間の相互関係を効果的に学習することができます。
さらに、MoEを導入することで、センサー間の異質性をさらに軽減しました。この一連の手法により、msGFMは様々な地理空間タスクで優れたパフォーマンスを発揮しました。
具体的には、以下のような結果が得られました:
土地分類では、既存手法を上回る精度を達成
雲除去では、専門手法と比べても優れた性能を発揮
パンシャープニングでも高いPSNRとSSIMを実現
これらの結果から、msGFMが多様なセンサーデータを統合的に処理し、高度な地理空間解析を可能にする強力なモデルであることが示されました。
Stats
土地分類タスクでは、10%のデータを使った場合、mAPが87.5%に達しました。
雲除去タスクでは、平均絶対誤差(MAE)が0.026、スペクトル角距離(SAM)が4.87と優れた結果を示しました。
パンシャープニングタスクでは、PSNRが22.850、SSIMが0.668と高い値を記録しました。