核心概念
本研究提出了一種新的端到端聯合學習框架TiCoSS,通過三大創新技術:緊密耦合的門控特徵融合策略、分層深度監督策略和耦合強化損失函數,實現了語義分割和立體匹配任務之間的緊密耦合,顯著提升了整體性能。
摘要
本文提出了一種名為TiCoSS的端到端聯合學習框架,用於同時進行語義分割和立體匹配任務。TiCoSS主要包含以下三大創新:
-
緊密耦合的門控特徵融合(TGF)策略:採用一系列選擇性繼承門控(SIG)來有選擇地傳播上一層的上下文和幾何信息,以更有效地融合異構特徵,提高語義分割性能。
-
分層深度監督(HDS)策略:利用包含最豐富局部空間細節的最高分辨率融合特徵,引導各分支的深度監督,加強了主支和側支分類器之間的互補性。
-
耦合強化(CT)損失函數:包括分散一致性感知損失、深度監督一致性約束損失等,進一步強化了語義分割和立體匹配任務之間的耦合。
通過在KITTI和vKITTI2數據集上的大量實驗,TiCoSS在語義分割和立體匹配任務上均取得了顯著的性能提升,尤其在語義分割指標上超越了現有最先進方法9%以上。此外,TiCoSS在複雜天氣條件下也表現出良好的鲁棒性。
統計資料
相比S3M-Net,TiCoSS在KITTI數據集上的mAcc提高了9.68%,mIoU提高了10.57%,fwIoU提高了2.71%,mFSc提高了1.20%。
在vKITTI2數據集上,TiCoSS的mAcc提高了3.88%,mIoU提高了5.08%,fwIoU提高了0.62%,mFSc提高了0.26%。
在KITTI數據集上,TiCoSS的EPE和PEP 3.0較S3M-Net分別提高了3.64%和2.47%。
在vKITTI2數據集上,TiCoSS的EPE和PEP 1.0較S3M-Net分別提高了5.26%和1.26%。
引述
"語義分割和立體匹配,分別類比於人腦中的腹側和背側通路,是自主駕駛感知系統的兩個關鍵組成部分。"
"現有的聯合學習框架主要集中於利用語義信息來提高視差精度,而利用視差信息來增強語義分割性能的討論相對有限。"
"我們提出的TGF策略能夠有選擇地傳播上下文和幾何信息,顯著減少了深層特徵融合過程中的噪聲干擾。"