이 논문은 로봇 작업 및 동작 계획 문제를 효율적으로 해결하기 위해 최적화, 샘플링 및 학습 기법을 통합하는 방법을 제안한다. 구체적으로 작업 계획과 동작 계획의 긴밀한 연계, 최적화와 샘플링 기법의 적응적 조합, 그리고 학습 기반 방법을 통한 계산 비용 감소 등의 기여를 소개한다.
최근 작업 및 동작 계획(TAMP) 연구에서는 언어 감독 로봇 궤적 데이터를 활용하여 에이전트의 작업 성공률을 크게 향상시킬 수 있음이 입증되었다. 그러나 이러한 데이터의 부족은 이 방법을 일반적인 사용 사례로 확장하는 데 큰 장애물이 되고 있다. 이를 해결하기 위해 본 연구에서는 최근 대형 언어 모델(LLM) 및 비전 언어 모델(VLM)을 포함한 기반 모델(FM)의 프롬프팅 전략을 활용하여 궤적 데이터를 시간적으로 제한되고 자연어 기반의 설명적 하위 작업으로 자동 분해하는 프레임워크를 제안한다.
LLM을 번역기와 검증기로 활용하여 자연어 지시를 형식적 작업 명세로 변환하고, 이를 통합 작업 및 동작 계획 알고리즘으로 해결하는 방법을 제안한다.
대형 언어 모델을 활용하여 작업 계획과 동작 계획 사이의 도메인 독립적인 인터페이스를 제공하고, 동작 실패에 대한 추론을 통해 계획을 점진적으로 개선할 수 있다.