本研究では、多エージェント強化学習における冗長計算の問題に取り組んでいる。多エージェントシステムでは、エージェント間の重複観測によって同じ情報が複数のエージェントで処理されるという冗長計算の問題が生じる。
提案手法では、ローカル集中型実行(LCE)フレームワークを導入する。LCEでは、一部のエージェントをリーダーとして指定し、リーダーがワーカーエージェントに対して行動指示を出す。これにより、ワーカーエージェントは自身の観測を処理する必要がなくなり、冗長計算を削減できる。
具体的には、リーダーエージェントが観測した情報を基に、チームトランスフォーマー(T-Trans)アーキテクチャを用いて各ワーカーエージェントに対する指示を生成する。また、リーダーシップシフト(LS)メカニズムを導入し、リーダーとワーカーの役割を動的に切り替えることで、常に適切なリーダーが選定されるようにしている。
実験では、レベルベースフォーレジング問題を用いて提案手法の有効性を検証した。結果、提案手法は冗長計算を大幅に削減しつつ、報酬獲得性能も維持し、学習収束も速くなることが示された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yidong Bai,T... at arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.13096.pdfDeeper Inquiries