핵심 개념
강화 학습에서 해석 가능한 정책 학습의 필요성과 이를 위한 연구 방향 제시
초록
이 논문은 강화 학습에서 해석 가능한 정책 학습의 필요성과 이를 위한 연구 방향을 제시한다.
첫째, 강화 학습 에이전트는 보상 희소성, 신용 할당의 어려움, 목표 불일치 등의 문제에 직면할 수 있다. 이러한 문제를 해결하기 위해 설명 가능한 AI (XAI) 방법론이 활용되고 있지만, 설명의 충실성 부족과 낮은 수준의 설명 의미론 등의 한계가 있다. 따라서 해석 가능성(intrinsic explainability)에 초점을 맞추는 것이 필요하다.
둘째, 해석 가능한 정책 학습을 위한 두 가지 접근법이 있다. 하나는 신경망 정책을 사후에 해석 가능한 정책(의사결정 트리, 프로그램 등)으로 모방하는 것이고, 다른 하나는 직접 해석 가능한 정책을 강화 학습으로 최적화하는 것이다. 전자는 복잡한 정책을 생성할 수 있고, 후자는 안정성 및 이론적 근거 부족의 문제가 있다.
셋째, 해석 가능한 강화 학습 연구의 가장 큰 과제는 정의와 공통된 패러다임의 부재이다. 일반 기계 학습 문헌에서는 해석 가능성을 정량화하려는 시도가 있었지만, 강화 학습 과제에 대해서는 이와 같은 작업이 이루어지지 않았다.
이러한 배경에서 저자들은 해석 가능한 강화 학습 연구 커뮤니티를 구축하고자 "Interpretable Policies in Reinforcement Learning (InterpPol)" 워크숍을 제안한다. 이 워크숍에서는 해석 가능한 강화 학습의 필요성, 해석 가능성의 정의, 해석 가능한 정책 학습 방법, 해석 가능한 강화 학습 문제 등을 다룰 예정이다.
통계
강화 학습 에이전트는 보상 희소성, 신용 할당의 어려움, 목표 불일치 등의 문제에 직면할 수 있다.
설명 가능한 AI (XAI) 방법론은 설명의 충실성 부족과 낮은 수준의 설명 의미론 등의 한계가 있다.
해석 가능한 정책 학습을 위한 두 가지 접근법은 신경망 정책 모방과 직접 최적화이며, 각각 복잡성과 안정성 문제가 있다.
해석 가능한 강화 학습 연구에는 정의와 공통된 패러다임의 부재가 가장 큰 과제이다.
인용구
"강화 학습 에이전트는 보상 희소성, 신용 할당의 어려움, 목표 불일치 등의 문제에 직면할 수 있다."
"설명 가능한 AI (XAI) 방법론은 설명의 충실성 부족과 낮은 수준의 설명 의미론 등의 한계가 있다."
"해석 가능한 강화 학습 연구의 가장 큰 과제는 정의와 공통된 패러다임의 부재이다."