본 연구는 미탐험 대규모 해양 환경에서 자연어 명령을 통해 AUV를 효과적으로 조종하기 위한 계층적 계획 및 재계획 프레임워크를 제안한다.
LLM 계획기: 추상화된 인간 명령을 해석하고 이를 구체적인 작업 계획을 위한 단서로 제공한다. 시각-언어 모델을 활용하여 관찰된 이미지를 텍스트로 변환하고, 해양 지식 데이터베이스를 활용하여 계획 단서를 생성한다.
작업 계획기: LLM 계획기가 제공한 단서를 바탕으로 구체적인 작업 계획을 생성한다. 사전 정의된 AUV 동작들의 전제 조건과 효과를 활용하여 실행 가능한 작업 계획을 수립한다.
동작 계획기: 작업 계획을 실제 AUV 제어 입력으로 변환한다. 관찰된 이미지 입력을 바탕으로 심층 강화 학습을 통해 동작 제어 정책을 학습한다.
전체 재계획기: 실시간 환경 피드백을 바탕으로 계획의 진행 상황과 AUV 상태를 모니터링하고, 필요 시 해당 계획기에 재계획 신호를 전달한다.
이러한 계층적 구조를 통해 추상화된 인간 명령을 구체적인 AUV 제어로 효과적으로 연결할 수 있으며, 동시에 불확실한 해양 환경에서 강건한 AUV 운영을 보장할 수 있다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Ruochu Yang,... kl. arxiv.org 03-25-2024
https://arxiv.org/pdf/2403.15369.pdfDybere Forespørgsler