이 논문은 양족 보행을 위한 심층 강화 학습 기반 프레임워크를 체계적으로 조사하였다.
먼저 엔드-투-엔드 프레임워크를 학습 접근법에 따라 분류하였다. 참조 기반 학습 방식은 사전 정의된 참조 동작을 활용하여 보행 기술을 습득하지만, 특정 동작에 국한되는 단점이 있다. 반면 참조 없는 학습 방식은 보다 다양한 보행 패턴을 탐색할 수 있지만, 보상 함수 설계의 어려움으로 인해 학습 과정이 복잡하다.
다음으로 계층적 프레임워크를 세 가지 유형으로 분류하였다. 심층 계획 하이브리드 방식은 고수준 계획과 저수준 제어를 결합하여 보행과 내비게이션 능력을 향상시킨다. 피드백 DRL 제어 하이브리드 방식은 모델 기반 고수준 계획과 학습 기반 저수준 제어기를 통합한다. 학습 계층 프레임워크는 고수준 계획과 저수준 제어기를 모두 학습하여 유연성을 높인다.
각 프레임워크의 특성, 장단점, 구현 사례를 상세히 분석하였다. 또한 현재 과제와 향후 연구 방향을 제시하였다. 특히 일반화와 정밀성의 균형, 복잡한 작업을 단순화하는 프레임워크 설계, 시뮬레이션에서 실제 환경으로의 전이, 조작 작업 통합 등이 중요한 과제로 논의되었다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Lingfan Bao,... lúc arxiv.org 04-29-2024
https://arxiv.org/pdf/2404.17070.pdfYêu cầu sâu hơn