本論文では、マルチエージェント強化学習(MARL)における効果的な協調の重要性について述べている。現在のグラフ学習手法には以下の2つの課題がある:1)過去の経験を考慮せず、1ステップの観察のみに依存しているため、冗長または有害な情報交換を促す不適切なグラフを生成する、2)アクションペアの計算に高い計算量を要するため、スケーラビリティが低い。
そこで本論文では、Latent Temporal Sparse Coordination Graph (LTS-CG)を提案する。LTS-CGは、エージェントの観察軌跡を利用してエージェントペアの確率行列を生成し、そこから疎なグラフをサンプリングすることで、エージェントの依存関係とエージェント間の関係の不確実性を同時にモデル化する。さらに、予測未来と推論現在の2つの特徴を備えたグラフを学習することで、エージェントが過去の経験と現在の情報を活用して効果的に協調できるようにする。
グラフ学習とエージェントの訓練は同時に行われ、エンドツーエンドの方式で実現される。StarCraft IIベンチマークでの実験結果は、LTS-CGの優れた性能を示している。
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Wei Duan,Jie... о arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19253.pdfГлибші Запити