Основні поняття
Das vorgeschlagene Hierarchical Cooperation Graph Learning (HCGL)-Modell löst allgemeine Multi-Agenten-Probleme, indem es eine dynamische Graphstruktur namens Extensible Cooperation Graph (ECG) verwendet, um die selbstorganisierenden und hierarchischen Kooperationsverhalten der Agenten zu erreichen.
Анотація
Das HCGL-Modell führt einen einzigartigen hierarchischen Graphen namens Extensible Cooperation Graph (ECG) ein, um Multi-Agenten-Probleme zu lösen. ECG besteht aus drei Ebenen: Agenten-Knoten, Cluster-Knoten und Ziel-Knoten. Die Agenten-Knoten repräsentieren die individuellen Agenten, die Cluster-Knoten gruppieren die Agenten in Cluster für hierarchische Kooperation, und die Ziel-Knoten stellen primitive Aktionen sowie kooperative Aktionen dar, die von den Clustern ausgeführt werden können.
Im Gegensatz zu klassischen MARL-Algorithmen, bei denen die Agenten eigene Politiknetzwerke besitzen, werden die Agenten im HCGL-Modell direkt durch die Topologie des ECG-Graphen gesteuert. Vier virtuelle Agenten, die als Operatoren bezeichnet werden, manipulieren dynamisch die Kantenverbindungen des ECG, um die Kooperation der Agenten an die sich ändernden Umgebungsbedingungen anzupassen.
Die hierarchische Struktur des ECG ermöglicht es, grundlegende kooperative Verhaltensweisen als kooperative Aktionen in das Lernframework zu integrieren. Darüber hinaus bietet ECG eine einzigartige Möglichkeit, die Aktionen der Agenten und die kooperativen Aktionen in einen einheitlichen Aktionsraum zu integrieren.
In den Experimenten zeigt das HCGL-Modell hervorragende Leistungen in Multi-Agenten-Benchmarks mit spärlichen Belohnungen. Außerdem kann HCGL effizient Richtlinien, die in kleinen Aufgaben gelernt wurden, auf große Szenarien übertragen.
Статистика
Die Erhöhung der Anzahl der Agenten von 27 auf 216 führt nur zu einem Rückgang der Nullschuss-Erfolgsquote von 97% auf 65%.
Die endgültige Erfolgsquote nach dem Transfer auf größere Aufgaben liegt über 80%.
Цитати
"Das vorgeschlagene Hierarchical Cooperation Graph Learning (HCGL)-Modell löst allgemeine Multi-Agenten-Probleme, indem es eine dynamische Graphstruktur namens Extensible Cooperation Graph (ECG) verwendet, um die selbstorganisierenden und hierarchischen Kooperationsverhalten der Agenten zu erreichen."
"Im Gegensatz zu klassischen MARL-Algorithmen, bei denen die Agenten eigene Politiknetzwerke besitzen, werden die Agenten im HCGL-Modell direkt durch die Topologie des ECG-Graphen gesteuert."
"Die hierarchische Struktur des ECG ermöglicht es, grundlegende kooperative Verhaltensweisen als kooperative Aktionen in das Lernframework zu integrieren."