핵심 개념
自動運転車両のLiDARポイントクラウドを効果的に処理・分析するための自己教師あり学習手法を提案する。単一モダリティ、クロスモダリティ、マルチモダリティの比較検討を行い、クロスモダリティが最も優れた性能を示す。さらに、インスタンス認識と類似性バランシングを考慮した対照学習ユニットを設計することで、優れた下流タスクの性能を実現する。
초록
本研究は、自動運転車両のLiDARポイントクラウドの自己教師あり学習に取り組んでいる。
まず、単一モダリティ(ポイントクラウドのみ)、クロスモダリティ(画像とポイントクラウド)、マルチモダリティ(前2者の組み合わせ)の3つのモダリティを比較検討し、クロスモダリティが最も優れた性能を示すことを明らかにした。
次に、ポイントクラウドの特性に合わせて、インスタンス認識と類似性バランシングを考慮した対照学習ユニットを提案した。具体的には、初期の対照学習ユニットを一様にサンプリングし、幾何クラスタリングによってインスタンスを発見する。さらに、画像特徴の類似性に基づいて、セマンティックに近い対照学習ユニットを除外することで、より効果的な対照学習を実現する。
提案手法は、Waymo Open Dataset、nuScenes、SemanticKITTI、ONCEなどの4つの主要ベンチマークにおいて、3D物体検出や3Dセマンティックセグメンテーションなどの下流タスクで顕著な性能向上を示した。
통계
自動運転車両のLiDARポイントクラウドを手動でラベル付けするのは非常に時間がかかり、コストがかかる(1タイルあたり約4.5時間)
提案手法は、Waymo Open Datasetで2.96%のL2 mAPH向上を達成し、先行研究を1.91%上回る
nuScenes評価では、1エポック目で8.40%のmAP向上を示し、トレーニングからスクラッチと比べて高速な収束を実現
인용구
"3D知覚はLiDARポイントクラウドにとって重要であり、自動運転車両が3D環境で適切に行動するために不可欠である。"
"手動でポイントクラウドにラベル付けするのは困難で時間がかかるため、自己教師あり事前学習への関心が高まっている。"
"2D自己教師あり学習の成功に続き、3D自己教師あり学習も注目を集めているが、まだ十分に探索されていない。"