連邦強化学習における異種MDPにおけるコンバージェンス認識サンプリングとスクリーニングによる強化

本研究では、異種のマルコフ決定過程(MDP)にまたがる価値ベースのエージェントを対象とした連邦強化学習(FedRL)に取り組む。既存のFedRLメソッドは、エージェントの学習を平均化することで性能向上を図るが、異種環境では最適な価値関数が多様になるため、この手法は最適ではない。そこで、個々のエージェントの学習を強化するための収束認識サンプリングとスクリーニングを組み合わせた新しい集約スキーム「CAESAR」を提案する。CAESARは、同一MDPのエージェントが同一の最適価値関数に収束することを利用し、より優れたエージェントの知識を選択的に取り入れることで、全体の学習効率を大幅に向上させる。