Основные понятия
로봇이 사용자와의 대화를 통해 개인화된 목표 물체를 찾아 이동하는 능력을 향상시킨다.
Аннотация
이 논문은 Zero-shot Interactive Personalized Object Navigation (ZIPON)이라는 새로운 과제를 소개한다. ZIPON에서 로봇은 사용자와의 대화를 통해 개인화된 목표 물체를 찾아 이동해야 한다. 이를 위해 저자들은 Open-woRld Interactive persOnalized Navigation (ORION)이라는 새로운 프레임워크를 제안한다. ORION은 대화형 모듈, 탐색 모듈, 지각 모듈 등 다양한 기능을 포함하며, 대형 언어 모델(LLM)을 사용하여 이들을 통합적으로 제어한다.
실험 결과, 사용자 피드백을 활용할 수 있는 대화형 에이전트의 성능이 크게 향상되었다. 특히 절차적 피드백과 랜드마크 피드백이 가장 큰 도움을 주었다. 그러나 여전히 과제 완수율, 내비게이션 효율성, 대화 효율성 간의 균형을 잡는 것이 어려운 과제로 남아있다. 저자들은 다양한 사용자 피드백 유형이 에이전트 성능에 미치는 영향에 대해 더 자세히 분석하였다.
Статистика
실험 환경에는 총 14,159개의 RGB-D 프레임과 117개의 개인화된 목표 물체가 포함되어 있다.
사용자 시뮬레이터는 GPT-3.5-turbo-0613 모델을 사용하여 구현되었다.
실제 로봇 실험에서는 20개의 목표 물체와 9개의 랜드마크 물체가 사용되었다.
Цитаты
"Zero-Shot Object Navigation (ZSON) enables agents to navigate towards open-vocabulary objects in un-known environments."
"To address these limitations, we introduce Zero-shot Interactive Personalized Object Navigation (ZIPON), where robots need to navigate to personalized goal objects while engaging in conversations with users."
"Experimental results show that the performance of interactive agents that can leverage user feedback exhibits significant improvement."