핵심 개념
로봇이 환경과 상호 작용하면서 언어를 학습할 수 있다는 것을 보여준다. 특히 사전 학습된 언어 모델을 활용하면 제한된 언어 입력을 넘어 자연스러운 언어 이해가 가능하다.
초록
이 논문은 로봇이 환경과 상호 작용하면서 언어를 학습하는 방법을 제안한다. 먼저 기존의 쌍 변분 자동 인코더(PVAE) 모델을 소개하는데, 이 모델은 로봇 행동과 언어 설명을 양방향으로 연결한다. PVAE 모델은 표준 자동 인코더보다 우수한 성능을 보이며, 채널 분리 기반 시각 특징 추출 모듈을 통해 다양한 모양의 물체에 대한 인식 능력을 향상시킨다.
이어서 PVAE-BERT 모델을 제안한다. PVAE-BERT는 사전 학습된 대규모 언어 모델인 BERT를 활용하여, 사전 정의된 언어 설명을 넘어 사용자의 자연스러운 언어 지시를 이해할 수 있게 한다. 실험 결과, PVAE-BERT는 행동-언어, 언어-언어, 언어-행동 변환 작업에서 우수한 성능을 보였다. 또한 주성분 분석을 통해 언어와 행동 표현이 의미적으로 정렬되어 있음을 확인하였다.
전반적으로 이 연구는 로봇이 환경과의 상호 작용을 통해 언어를 학습할 수 있음을 보여주며, 특히 사전 학습된 언어 모델을 활용하면 제한된 언어 입력을 넘어 자연스러운 언어 이해가 가능함을 시사한다.
통계
로봇 행동을 나타내는 관절각 값과 언어 설명이 쌍으로 구성된 데이터셋을 사용하였다.
데이터셋에는 다양한 색상과 모양의 물체에 대한 정보가 포함되어 있다.
데이터셋의 크기는 실험에 따라 다르며, 최대 288개의 문장으로 구성되어 있다.
인용구
"Human infants learn language while interacting with their environment in which their caregivers may describe the objects and actions they perform. Similar to human infants, artificial agents can learn language while interacting with their environment."
"We make use of transfer learning by using a pretrained language model, hence, benefitting from large unlabelled textual data."