이 논문은 로봇이 가정 환경에서 새로운 물체를 효과적으로 다루기 위한 제로샷 과업 지향 그래스핑 방법을 제안한다. 이를 위해 물체를 단순한 볼록 형상으로 분해하고 이를 그래프 구조로 표현하여 대규모 언어 모델의 일반상식 추론 능력을 활용한다.
먼저 RGB-D 카메라를 통해 물체를 분할하고 볼록 분해를 수행한다. 이때 분해 결과의 적절성을 판단하는 휴리스틱 알고리즘을 제안한다. 그 다음 분해된 각 부품의 기하학적 속성과 공간적 관계를 나타내는 그래프를 구축한다. 이 그래프를 대규모 언어 모델에 입력하여 각 부품의 의미적 역할을 추론하고, 주어진 과업에 가장 적합한 부품을 선택한다.
실제 로봇 플랫폼에서의 실험 결과, 제안 방법은 기존 최신 기법 대비 부품 선택 정확도 55%, 성공적인 물체 들어올리기 51% 향상을 보였다. 이는 물체의 기하학적 분해와 대규모 언어 모델의 추론 능력을 효과적으로 결합한 결과이다.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Samuel Li,Sa... pada arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18062.pdfPertanyaan yang Lebih Dalam