本研究では、ロバストで一般化可能な多モーダル3D物体検出を実現するため、RoboFusionフレームワークを提案している。
まず、SAMをAD(自動運転)シナリオに適応させたSAM-ADを開発し、AD-FPNを導入してSAMの特徴を多スケールに変換する。次に、深度情報を活用したウェーブレット注意機構(DGWA)を用いて、画像特徴からノイズを低減する。最後に、自己注意機構を用いた適応的融合により、点群特徴と画像特徴を統合し、ノイズに強い特徴を生成する。
RoboFusionは、KITTI-CとnuScenes-Cベンチマークにおいて、従来手法を大きく上回るロバスト性を示している。特に、雪、雨、霧などの悪天候条件下でも高い性能を発揮する。これは、VFMの一般化能力を活用することで、OODノイズシナリオにおける検出精度を大幅に向上させたことによる。
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Ziying Song,... klo arxiv.org 04-18-2024
https://arxiv.org/pdf/2401.03907.pdfSyvällisempiä Kysymyksiä