Zhou, Y., Simon, M., Peng, Z., Mo, S., Zhu, H., Guo, M., & Zhou, B. (2024). SimGen: Simulator-conditioned Driving Scene Generation. Advances in Neural Information Processing Systems, 38.
本研究は、自動運転技術の開発において重要となる、現実的で多様な運転シーン画像を効率的に生成する手法を提案することを目的とする。
現実世界の運転シーンデータセットDIVA-Realと、シミュレーターを用いて生成したデータセットDIVA-Simを用いて、シミュレーター条件付き拡散モデルSimGenを学習する。SimGenは、シミュレーターから得られる空間条件(深度やセマンティックマップ)とテキストプロンプトに基づいて、現実的な運転シーン画像を生成する。SimGenは、シミュレーター条件を現実的な条件に変換するCondDiffモジュールと、変換された条件とテキストプロンプト、追加のシミュレーター条件(RGB画像、インスタンスマップ、トップダウンビューなど)に基づいて画像を生成するImgDiffモジュールから構成される。
SimGenは、既存の運転シーン生成手法と比較して、画像の品質と多様性において優れていることが示された。また、SimGenを用いて生成したデータを用いて物体検出やセグメンテーションなどの認識タスクの学習を行うことで、認識精度が向上することが確認された。
SimGenは、現実世界のデータとシミュレーターのデータを組み合わせることで、多様な運転シーンを生成する効果的な手法である。SimGenは、自動運転技術の開発において、データ拡張や認識タスクの学習に有用であると考えられる。
本研究は、自動運転技術の開発において、現実的で多様な運転シーン画像を効率的に生成する手法を提案した点で意義深い。SimGenは、データ拡張や認識タスクの学習に有用であり、自動運転技術の発展に貢献することが期待される。
現段階では、SimGenはマルチビューの生成に対応していないため、鳥瞰図モデルへの適用は限定的である。また、拡散モデルの欠点を受け継いでいるため、推論時間が長く、閉ループ学習などのアプリケーションに影響を与える可能性がある。今後は、SimGenを動画生成に拡張する研究などが考えられる。
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы