現実世界の知覚入力を使用した動き予測に向けて：エンドツーエンドアプローチは競争力があるか？

Core Concepts

エンドツーエンドアプローチと従来の方法を比較して、現実世界での動き予測モデルの性能差を明らかにする。

Abstract

自律車両における重要な役割を果たす動き予測モデルについて、従来の方法とエンドツーエンドアプローチを比較しました。研究では、従来の方法が完全なマップや検出トラッキング情報を前提として訓練されている一方、エンドツーエンドアプローチは知覚情報と動き予測アーキテクチャを統合的に訓練することで問題解決を図っています。しかし、実際の世界への展開時にはパフォーマンスギャップが生じることが示されました。特に、知覚モジュールから提供される不完全な入力が原因であり、これは単純な微調整だけでは解消されないことが明らかになりました。さらに、異なる種類の地図情報や検出トラッキングエラーが動き予測性能に与える影響も詳細に分析されました。

Stats

現実世界への移行時の性能差：0.343 → 0.112（AgentFormer）、0.757 → 0.317（LaPred）
リダー対カメラ：ViP3D Det&Track（MR↓）、UniAD Det&Track（minFDE↓）
マッピング手法：SimpleBeV（mAPf↑）、LaRa（mAPf↑）、MapTR（mAPf↑）

Quotes

"The emerging ‘end-to-end forecasting’ paradigm is so far not better than the conventional one, even in a real-world setting without finetuning."
"There is a large and systematic performance gap going from curated annotations to perception predictions, which is not reduced by simple techniques, requiring more effort than just joint training."
"We show that the perception and forecasting quality depends on the agent-ego distance."

Key Insights Distilled From

Towards Motion Forecasting with Real-World Perception Inputs

by Yiho... at arxiv.org 03-06-2024

https://arxiv.org/pdf/2306.09281.pdf

Deeper Inquiries

どうしてエンドツーエンドアプローチは従来の方法よりも優れていないと考えられますか？

エンドツーエンドアプローチが従来の方法よりも優れていない理由は複数あります。まず、この研究では実世界の制約を反映した評価プロトコルに基づき、異なる予測手法（4つ）がトラッキング出力（7つ考慮）、およびオンラインマッピング手法（3つ考慮、ベクトル化またはラスター化、LiDARまたはカメラ使用）に直面する際の性能を比較しました。その結果、エンドツーエンドアプローチが従来の方法よりも劣っていることが明らかになりました。
具体的には、最新のエンドツーエンドモデルが単純にジョイントトレーニングせずとも感知情報を利用しないことや、マップ情報を適切に活用していないことが挙げられます。これから先進的で多目的学習戦略やマップ統合設計が必要だと示唆されています。

知覚から予測への性能ギャップを埋めるために必要な努力は何ですか？

知覚から予測への性能ギャップを埋めるために必要な主要な取り組みは次の通りです。

マルチタスク学習戦略: より良好で包括的なマルチタスク学習戦略やマッピング統合設計が重要です。
正確さ向上: 検出mAPや追跡精度だけでなく正確さ向上も重視すべきです。
距離情報考慮: エージェント - エゴ車間距離情報を含んだ動き予測モデルおよび評価基準作成。

これら取り組みを通じて認識課題から動き予測課題までシームレスかつ効果的に連携することで性能改善可能です。

代理人 - エゴ車間距離が動き予測品質に影響する理由は何ですか？

代理人 - エゴ車間距離が動き予測品質に影響する主な理由は以下の通りです。

LiDAR対カメラ：LiDARセンサーでは範囲外でも高精度保持される一方、カメラセンサーでは遠方エージェント探知時苦労します
MOTP差：LiDAR系手法MOTP得意領域強調し，同等程度MOTA指数表示
前述点補足：MOTP傑出表現後者発見後位置特定技術，LiDAR系方式AgentFormer, LaPred mAPf勝ち
以上所見示す如く，近接・中長距離内局所化精度(MOTP)大事物件故，それリダール系方式有利．そして前述点相応LaPred, AgentFormer mAPf勝因．本発見重大因子是自動運転分野内移行時代変革促進可．