Core Concepts
사전 도메인 지식을 활용하여 관측 데이터와의 불일치가 큰 영역을 집중적으로 탐색함으로써 동역학 모델의 학습을 가속화하는 능동적 학습 알고리즘을 제안한다.
Abstract
이 논문은 동역학 모델 학습을 위한 능동적 학습 알고리즘을 제안한다. 기존의 순수 데이터 기반 접근법은 사전 도메인 지식을 활용하지 않아 편향이 발생할 수 있지만, 이 논문에서는 사전 도메인 지식을 활용하여 데이터 수집 과정에서도 이를 활용한다.
구체적으로, 제안하는 알고리즘은 가우시안 프로세스 기반 UCB 알고리즘을 활용하여 데이터를 수집한다. 이때 사전 도메인 지식으로부터 유도된 불완전한 동역학 모델과 현재 데이터 기반 모델 간의 불일치 정도를 탐색 기준에 포함시켜, 이러한 불일치가 큰 영역을 집중적으로 탐색한다. 이를 통해 사전 지식이 잘못된 영역을 효과적으로 탐색하면서도 중복 탐색을 방지할 수 있다.
이러한 접근법의 일관성을 수학적으로 증명하였으며, 단진자 시스템과 half-cheetah 환경에서의 실험을 통해 제안 방법의 효과를 확인하였다. 특히 half-cheetah 실험에서는 학습된 동역학 모델을 활용한 제어 성능이 우수함을 보였다.
Stats
단진자 시스템의 운동 방정식은 ml2¨θ + 3mgl sin(θ) = 3u 이다.
half-cheetah 시스템의 상태 공간은 R18이며, 입력 공간은 R6로 [-1, 1] 범위로 제한된다.
Quotes
"사전 도메인 지식을 활용하여 데이터 수집 과정에서도 이를 활용한다."
"불일치가 큰 영역을 집중적으로 탐색하면서도 중복 탐색을 방지할 수 있다."