Основные понятия
画像誘導ネットワークを使用した深度補完のための繰り返し設計に焦点を当てる。
Аннотация
このコンテンツは、深度補完技術に関する新しいアーキテクチャであるRigNet++に焦点を当てています。複雑な環境での自動運転やAR、VRなどの応用において信頼性の高い深度予測が重要であり、本手法はその改善を提案しています。DRHNやRGモジュール、SAMなどの概念が導入され、効果的な深度構造回復が実現されています。また、TOFDCという新しいデータセットも紹介されており、実世界での深度情報収集に貢献しています。
Статистика
深度補完タスクにおける新しいデータセットTOFDCは10,000対560のRGB-Dペアから成り立っている。
KITTIデータセットでは86,898個のグラウンドトゥルースアノテーションがあり、トレーニングスプリットとテストスプリットがそれぞれ1,000個ずつ含まれている。
NYUv2データセットは464シーンから成り立ち、トレーニングスプリットから50K枚、テストスプリットから654枚が使用されている。
Matterport3Dと3D60データセットでは合計9,406枚のパノラマRGB-Dペアが利用されており、M3PTによって希薄な深度が生成された。
Virtual KITTIデータセットはKITTIビデオシーケンスから合成されたものであり、さまざまな照明条件や天候条件下でカラー画像を生成している。
Цитаты
"Extensive experiments demonstrate that our method achieves state-of-the-art performance on KITTI, NYUv2, Matterport3D, 3D60, VKITTI, and our TOFDC."
"Our method consistently outperforms the state-of-the-art approaches on six RGB-D datasets."
"The improvements of this paper are fourfold: (1) It reduces the complexity of the repetition in the image guidance branch and enhances its feature representation via the dense-connection strategy. (2) It introduces the semantic prior of SAM to benefit the repetition in the depth generation branch. (3) It proposes a region-aware spatial propagation network (RASPN) to refine the depth structure through explicit semantic prior constraints. (4) It constructs a new dataset based on the TOF system of a smartphone."