多模態融合策略在生物物理景觀特徵製圖中的應用

Centrala begrepp

本研究探討了三種融合熱感、RGB 和 LiDAR 影像數據的方法，用於繪製三個生物物理景觀特徵：犀牛糞堆、白蟻丘和水體。研究發現，雖然三種方法的整體表現相似，但它們在不同類別上的表現差異很大，這表明針對特定任務選擇最佳融合策略的重要性。

Sammanfattning

多模態融合策略在生物物理景觀特徵製圖中的應用

為了應對廣泛的土地退化和生物多樣性喪失，聯合國在其第十五個可持續發展目標「陸地生命」中呼籲保護、恢復和促進陸地生態系統的可持續利用和管理。成功地保護棲息地和物種需要有效的生態系統和生物多樣性監測。為此，生態學家和保護區管理人員需要繪製生物物理景觀特徵圖，這通常需要結合遙感和地面調查。
在非洲稀樹草原生態系統中，三個此類感興趣的特徵是犀牛糞堆、白蟻丘和水。犀牛糞堆是犀牛用於領地標記和社會交流的公共排便地點。白蟻丘由土壤、白蟻唾液和糞便組成，是景觀中養分和水分含量增強的小島，促進了植被的生長，而植被又吸引了食草動物。水在這裡被定義為河流、溪流或水坑，是許多動物物種賴以生存的關鍵資源。這些景觀特徵通常分佈在廣闊、難以到達的地區，這使得對遙感影像進行人工標註變得繁瑣，而完整的地面調查又超出了可用的時間和資源。這一挑戰促使人們使用深度學習 (DL)來自動檢測無人機影像中的生物物理景觀特徵。

本研究開發了深度學習模型，利用 2020 年 1 月在南非克魯格國家公園一個 284 公頃的場地拍攝的航空影像來繪製這些特徵圖。無人機配備了熱感相機、RGB 相機和 LiDAR（光探測和測距）掃描儀，它們同時以 0.5 米、0.05 米和 0.1 米的分辨率分別收集熱感、RGB 和高程數據。利用這些多模態數據，我們研究了以下問題：如何最有效地將多分辨率熱感、RGB 和 LiDAR 數據融合到深度學習模型中，以便在訓練數據有限且不平衡的情況下進行多類別圖像分類？具體而言，是在特徵提取過程的早期還是晚期進行融合更好？在後期融合時，應如何對模態進行加權？
三種融合策略

早期融合： 將不同模態的圖塊拼接在一起，並將其通過一個 5 通道 ResNet。
後期融合： 將不同模態的圖塊分別通過獨立的 ResNet 特徵提取器，然後在一個全連接層中進行融合。
專家混合 (MoE)： 使用一個門控網絡，根據輸入對每個模態的預測進行加權。

Viktiga insikter från

Multimodal Fusion Strategies for Mapping Biophysical Landscape Features

by Lucia Gordon... på arxiv.org 10-08-2024

https://arxiv.org/pdf/2410.04833.pdf

Djupare frågor

如何將這些多模態融合策略應用於其他類型的生物物理景觀特徵的繪製？

這些多模態融合策略可以廣泛應用於其他生物物理景觀特徵的繪製，其應用潜力不僅限於非洲草原生態系統。以下是一些具體的例子：

森林監測: 可以利用RGB、LiDAR 和高光譜影像數據，結合早期融合、後期融合或專家混合模型，識別樹種、估計樹高和生物量、監測森林砍伐和退化，以及繪製森林火災後的植被恢復情況。
濕地製圖: 可以結合RGB、LiDAR 和雷達影像數據，利用深度學習模型識別濕地類型、繪製濕地邊界、監測濕地水文變化，以及評估濕地生態系統健康狀況。
海岸線監測: 可以利用RGB、LiDAR 和熱紅外影像數據，結合多模態融合策略，監測海岸線侵蝕和積聚、識別海岸線類型、繪製海岸帶植被分佈，以及評估海平面上升的影響。
總之，只要選擇合適的多模態數據和深度學習模型，並根據具體應用場景調整模型結構和參數，這些融合策略就能夠有效地應用於各種生物物理景觀特徵的繪製。

在訓練數據極其有限的情況下，如何提高這些模型的性能？

在訓練數據極其有限的情況下，可以採取以下策略提高模型性能：

遷移學習: 利用在大型數據集（如 ImageNet）上預先訓練的模型（如 ResNet），將其遷移到目標任務中，並僅微調模型的最後幾層。
數據增強: 通過對現有訓練數據進行旋轉、翻轉、裁剪、缩放、添加噪聲等操作，擴充訓練數據集的規模和多样性。
少樣本學習: 利用少樣本學習方法，例如原型網絡、匹配網絡等，在只有少量標註樣本的情況下訓練模型。
主動學習: 利用主動學習方法，選擇最有信息量的未標註樣本進行人工標註，以最小的標註成本最大程度地提高模型性能。
半監督學習: 利用半監督學習方法，結合少量標註數據和大量未標註數據，訓練模型。
此外，還可以嘗試使用更輕量級的模型架構，例如 MobileNet、ShuffleNet 等，以減少模型的參數數量，降低過擬合的風險。

如何將這些模型的預測結果與其他生態數據整合，以支持更廣泛的生態系統監測和保護工作？

將這些模型的預測結果與其他生態數據整合，可以更全面地了解生態系統的結構、功能和動態變化，為生態系統監測和保護工作提供更有效的支持。以下是一些具體的例子：

棲息地適宜性評估: 將生物物理景觀特徵的預測結果與物種分佈數據、環境變量數據（如氣候、土壤、地形）等結合，構建棲息地適宜性模型，評估不同區域對特定物種的適宜程度，為物種保護和管理提供科學依據。
生物多樣性監測: 將生物物理景觀特徵的預測結果與物種多樣性數據、群落結構數據等結合，分析不同景觀特徵對生物多樣性的影響，識別生物多樣性熱點區域，為生物多樣性保護提供決策支持。
生態系統服務評估: 將生物物理景觀特徵的預測結果與生態系統服務數據（如碳儲量、水源涵養、土壤保持）等結合，評估不同景觀特徵對生態系統服務的貢獻，為生態系統管理和可持續發展提供參考。
此外，還可以將這些模型的預測結果與其他數據源（如遙感影像、地面調查數據、公民科學數據）進行整合，構建更精細、更準確的生態系統監測和評估體系，為生態環境保護和恢復提供更強有力的支持。