核心概念
自己教師型の事前学習アプローチであるS4は、ラベル付きデータの大量な収集を必要とせずに、衛星画像時系列のセグメンテーションを大幅に改善する。
要約
本研究では、S4と呼ばれる新しい自己教師型の事前学習アプローチを提案している。S4は、以下の2つの洞察を活用することで、ラベル付きデータの要件を大幅に削減する。
衛星は、電波周波数や可視周波数など、異なるスペクトルの画像を捉える。
衛星画像は地理座標付けされており、細かな空間的な整列が可能である。
S4では、これらの洞察を利用して、事前学習タスクを設計している。また、m2s2-SITSと呼ばれる大規模な未ラベル付きの、空間的に整列された、マルチモーダルで地理的に特定された衛星画像時系列のデータセットを収集している。
最後に、S4をPASTIS及びAfrica Crop Type Mappingのセグメンテーションタスクに適用し、ラベル付きデータが限られている場合でも、競合手法に比べて優れた性能を示すことを実証している。
統計
衛星は地球の表面の75%以上を雲に覆われている。
光学画像と雷達画像では、同じ場所の特徴が明確に異なる場合がある。
引用
"衛星画像時系列(SITS)のセグメンテーションは、環境監視、土地被覆マッピング、農業作物分類などの多くのアプリケーションにとって重要である。"
"ラベル付きデータの収集は困難であり、細かな画素レベルのアノテーションを必要とする。"