Core Concepts
単一深度カメラから入力を受け取り、深層強化学習を用いて物理的に正しい手-物体相互作用を再構築する。
Abstract
本研究では、単一深度カメラから入力を受け取り、深層強化学習を用いて手-物体相互作用を再構築する手法を提案している。
まず、既存の視覚ベースの手-物体追跡手法を用いて、手の姿勢と物体の動きの粗い推定を行う。しかし、この推定結果には物理的に不自然な動きが含まれる可能性がある。
そこで本手法では、深層強化学習を用いて、この推定結果を物理的に正しい動きに修正する。具体的には、手の関節トルクに加えて、物体に直接作用する補償力と補償トルクを出力するポリシーネットワークを学習する。
補償力と補償トルクは、物理シミュレータ内での物体の動きを改善するために使用される。また、これらの補償力と補償トルクを表面接触モデルを用いて分析することで、より物理的に正しい相互作用を再現することができる。
実験の結果、提案手法は既存手法と比べて、物理的な正しさを大幅に向上させつつ、追跡精度も維持できることが示された。
Stats
手の姿勢と物体の位置の誤差は約13ピクセルである。
物体の追跡精度(IoU)は約78%である。
物理的に正しい割合は約91%である。
手と物体の動きの滑らかさは約70cm/s^2である。