本研究では、動作予測タスクにおいて、アンサンブルモデルと蒸留の手法を提案している。
まず、複数の最適化された単一モデルからなるアンサンブルモデルを構築する。これにより、一般化精度が大幅に向上する。しかし、アンサンブルモデルは計算コストが高いため、オンボードのロボットシステムでは実用的ではない。
そこで、一般化された蒸留フレームワークを開発し、アンサンブルモデルから小規模な学生モデルを蒸留する。学生モデルは、教師モデルの出力分布を模倣するように学習される。これにより、教師モデルの高精度を維持しつつ、計算コストを大幅に削減できる。
実験では、Waymo Open Motion DatasetとArgoverseデータセットを用いて評価を行った。アンサンブルモデルは両データセットのリーダーボードで上位の成績を収めた。また、蒸留された学生モデルは、大幅に低いコストで教師モデルと同等の高精度を達成した。
これらの結果から、アンサンブル蒸留は、限られた計算リソースを持つロボットシステムにおいて、高精度な動作予測を実現する有効な手法であることが示された。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Scott Etting... om arxiv.org 04-08-2024
https://arxiv.org/pdf/2404.03843.pdfDiepere vragen