Core Concepts
ロボットが環境と相互作用しながら言語を学習することができる。
Abstract
本研究では、ロボットの言語学習のためのニューラルネットワークモデルを提案している。このモデルは、ロボットの行動と言語の記述を双方向に結び付けることができる。
まず、単純なオブジェクト操作シナリオにおいて、ロボットの行動と言語の記述を双方向に結び付ける「対ペア変分オートエンコーダ(PVAE)」モデルを提案している。PVAEは、標準的なオートエンコーダよりも優れた一対多の行動-言語変換を可能にする。また、視覚特徴抽出の際にチャンネル分離を行うことで、オブジェクトの色の認識精度が向上することを示している。
次に、PVAE-BERTを提案し、大規模な事前学習言語モデルであるBERTを組み込むことで、事前定義された記述以外の自然言語命令にも対応できるようにしている。実験の結果、PVAE-BERTは、人間ユーザからの制限のない指示にも対応できることが示された。
Stats
ロボットの関節角度値と言語記述のペアからなるデータセットを使用している。
データセットには、3色または6色の立方体を操作する際の12種類の行動と、それに対応する言語記述が含まれている。
言語記述は、動詞、色、速度の3要素から構成される。
Quotes
"ロボットが環境と相互作用しながら言語を学習することができる。"
"PVAEは、標準的なオートエンコーダよりも優れた一対多の行動-言語変換を可能にする。"
"PVAE-BERTは、人間ユーザからの制限のない指示にも対応できる。"