核心概念
ロボット操作タスクを実行するための、視覚的観察と物理的測定を統合した対話型の身体化推論アプローチ
要約
本論文では、ロボット操作タスクを実行するための新しい対話型身体化推論アプローチ(CLIER)を提案している。CLIERは、高品質な視覚的観察と正確な物理シミュレーションを統合したMuBlEシミュレーション環境を活用する。
MuBlEは、MuJoCoの物理エンジンとBlenderのレンダリングを組み合わせた新しい環境であり、現実的な視覚的観察と正確な物理状態を提供する。また、SHOP-VRB2ベンチマークを提案し、視覚的観察と物理的測定を同時に必要とする10種類の多段階操作タスクを定義している。
CLIERアプローチは、物理的な非視覚的属性の測定を計画し、外部からの干渉や不確実な操作結果に対応できる。シミュレーション実験では76%、実世界の実験では64%の成功率を達成している。
統計
物体の重さを測定する必要がある場合、その物体を持ち上げて重さを測定する。
物体の硬さを測定する必要がある場合、物体を握って変形を測定する。
物体の位置や向きを把握するために、物体検出とポーズ推定を行う。
引用
"Embodied reasoning systems integrate robotic hardware and cognitive processes to perform complex tasks typically in response to a natural language query about a specific physical environment."
"Realistic synthetic visual data are crucial for development of robotics systems but the collection of such data is often restricted by a cumbersome setup process and real time robot operations."
"A highlight of our approach is that it plans for perception of invisible object properties (e.g., weight or stiffness) and account for new measurements to adjust the plan."