일관성 있는 오프-정책 평가를 위한 상태 추상화 활용: 추상 보상 프로세스
상태 추상화를 활용하여 복잡한 연속 문제를 간단한 이산 모델인 추상 보상 프로세스로 변환함으로써, 오프-정책 데이터로부터 일관성 있는 정책 성능 예측이 가능하다.
連続状態空間のMDPにおける一貫性のある オフポリシー評価のための抽象報酬プロセスの活用
複雑な連続状態空間のMDPから抽象化された離散状態空間の抽象報酬プロセス(ARP)を構築し、オフポリシーデータから一貫性のある性能評価を行う。
오프라인 협력 다중 에이전트 강화 학습: 정상 분포 편향 정규화를 통한 접근
오프라인 데이터셋에서 정상 분포 편향 정규화를 통해 효과적인 협력 다중 에이전트 정책을 학습하는 방법을 제안한다.
Offline Cooperative Multi-Agent Reinforcement Learning with Stationary Distribution Shift Regularization
An offline cooperative multi-agent reinforcement learning algorithm, ComaDICE, that incorporates a stationary distribution shift regularizer to address the distribution shift issue in offline settings, and employs a carefully designed value decomposition strategy to facilitate multi-agent training.
복잡한 과제를 랜드마크 기반 작업 분해를 통한 LLM 강화 학습
복잡한 과제를 보다 단순한 하위 과제로 분해하여 강화 학습 에이전트가 효과적으로 학습할 수 있도록 하는 방법을 제안한다. 이를 위해 긍정적 및 부정적 궤적을 활용하여 랜드마크를 식별하고, 대형 언어 모델(LLM)을 사용하여 각 하위 과제를 달성하기 위한 규칙 템플릿을 생성한다. 이렇게 생성된 규칙은 귀납적 논리 프로그래밍 기반 강화 학습 에이전트를 통해 세부적으로 조정된다.
複雑なタスクを簡単なサブタスクに分解するランドマークベースのタスク分解を用いたLLM拡張シンボリック強化学習
複雑なタスクを簡単なサブタスクに分解し、LLMを用いてサブタスクを達成するための論理ルールを生成することで、効率的に複雑なタスクを解決する。
Landmark-Based Task Decomposition and LLM-Augmented Symbolic Reinforcement Learning
This paper presents a novel method for detecting landmarks to decompose complex tasks into subtasks, leveraging first-order logic state representation and large language models (LLMs) to create interpretable rule-based policies through an inductive logic programming (ILP)-based reinforcement learning agent.
최적 정지 문제에 대한 탐색적 접근: 특이 제어 문제 정식화
이 논문은 강화 학습 관점에서 연속 시간 및 상태 공간 최적 정지 문제를 탐구합니다. 탐색을 장려하고 학습을 촉진하기 위해 성과 기준에 누적 잔여 엔트로피를 도입하여 정규화된 문제를 제안합니다. 이는 유한 연료를 가진 (n+1)차원 퇴화 특이 확률 제어 문제의 형태를 취합니다. 동적 계획법 원리를 통해 이 문제의 해를 식별하고 최적의 탐색적 전략을 구축합니다.
Optimal Stopping with Entropy Regularization: A Singular Control Formulation
This paper proposes a reinforcement learning framework for continuous-time and state-space optimal stopping problems by introducing entropy regularization to encourage exploration and facilitate learning.
심층 추상화를 통한 오프-정책 평가
본 논문은 상태 추상화를 활용하여 대규모 상태 공간에서 오프-정책 평가의 정확성을 향상시키는 방법을 제안한다. 구체적으로 모델 기반 및 모델 자유 형태의 상태 추상화 조건을 정의하고, 이를 바탕으로 반복적인 상태 공간 압축 알고리즘을 제안한다. 이를 통해 다양한 오프-정책 평가 방법론의 Fisher 일치성을 보장한다.
