Sennaは、大規模ビジョン言語モデル(LVLM)の高度なシーン理解能力と、End-to-Endモデルの正確な軌道予測能力を組み合わせることで、より安全で堅牢、かつ汎用性の高い自動運転を実現するシステムである。
大規模言語モデル (LLM) は、その自然言語理解と推論能力により、認識やシーン理解から言語インタラクション、意思決定まで、自動運転システムのさまざまな側面を向上させる可能性を秘めている。
DriVLMeは、シミュレーション環境での経験と実際の人の対話から学習することで、複雑な運転状況において人間と自然な対話をしながら走行できる、より人間らしい自動運転エージェントを実現する。
HE-Driveは、人間の運転のように、時間的に一貫性があり快適な軌道を生成する、人間中心型のエンドツーエンド自動運転システムである。
高精度地図データと動的センサデータを統合し、自動運転車の軌道を正確に予測するモデル「MapsTP」を提案する。
自動運転における最も危険なシナリオは、時間的文脈の中でのみ検出できる。本研究では、自動運転の車載カメラの視点から正常性を学習し、稀で重要なシナリオにおける画素単位の異常検出を行う。
VLM-Autoは、視覚入力に基づいて道路環境を分析し、運転行動を調整することで、自動運転車に人間的な理解と柔軟な対応を実現する。
DualADは、人間の認知プロセスを模倣した自動運転フレームワークであり、ルールベースのモーションプランナーと大規模言語モデルを組み合わせることで、複雑な走行シナリオにおける推論能力を向上させる。
不確実な他の交通参加者の行動に対して、確率的指標を用いることで過度に保守的な決定を避けつつ、安全性を確保する先制的な緊急衝突回避計画を提案する。
失敗データを活用することで、自動運転車の計画アルゴリズムの一般化性能を向上させることができる。