Wie Kognition und Kooperation in strukturierten Populationen unter Verstärkungslernen koevolvieren

Core Concepts

Unter Verwendung von Verstärkungslernen als Verhaltensregel bestätigen wir den Schwellenwert der Wahrscheinlichkeit für wiederholte Interaktion, der das emergente Verhalten vom intuitiven Defekteur zum Dual-Prozess-Kooperator wechseln lässt. Wir finden jedoch einen gegenteiligen Effekt der Knotenanzahl, bei dem geringere Grade die evolutionäre Erfolgschance von Dual-Prozess-Kooperatoren reduzieren. Außerdem beobachten wir eine höhere Häufigkeit von Deliberation.

Abstract

Die Studie untersucht die Evolution von Verhalten unter Verstärkungslernen in einem Gefangenendilemma, bei dem Agenten in einem regelmäßigen Netzwerk interagieren und lernen können, ob sie ein Einmal- oder wiederholtes Spiel spielen, indem sie Kosten für Deliberation in Kauf nehmen.
Im Vergleich zu anderen in der Literatur verwendeten Verhaltensregeln:

Bestätigen wir den Schwellenwert der Wahrscheinlichkeit für wiederholte Interaktion, der den emergenten Übergang vom intuitiven Defekteur zum Dual-Prozess-Kooperator bewirkt.
Finden wir eine andere Rolle des Knotengrades, bei der kleinere Grade den evolutionären Erfolg von Dual-Prozess-Kooperatoren reduzieren.
Beobachten wir eine höhere Häufigkeit von Deliberation.

Insgesamt bestätigt Verstärkungslernen den Schwellenwert für wiederholte Interaktion, moderiert aber die Rolle der Verbindungsanzahl für die Ausbreitung von Kooperation, wobei eine höhere Netzwerkdichte Kooperation unter Verstärkungslernen begünstigt. Außerdem erhöht Verstärkungslernen die beobachtete Häufigkeit von Deliberation.

Stats

Die Wahrscheinlichkeit zu kooperieren unter Intuition, pint, steigt S-förmig mit der Wahrscheinlichkeit für wiederholte Interaktion, pG, von Werten nahe 0,1 bis fast 1.
Der kritische Wert von pG, bei dem pint = 0,5 ist, nimmt mit steigendem Knotengrad k ab.
Die Wahrscheinlichkeit zu kooperieren unter Deliberation bei wiederholtem Spiel, prep
del, steigt rasch mit pG an und geht nie zurück.
Die maximale Deliberationskosten-Schwelle, d*, zeigt einen invertierten V-förmigen Verlauf in Bezug auf pG und ist deutlich höher als bei Mosleh und Rand (2018).

Quotes

Keine relevanten wörtlichen Zitate identifiziert.

Key Insights Distilled From

Coevolution of cognition and cooperation in structured populations under reinforcement learning

by Rossana Mast... at arxiv.org 03-28-2024

https://arxiv.org/pdf/2306.11376.pdf

Deeper Inquiries

Wie würde sich die Koevolution von Kognition und Kooperation in einem dynamischen Netzwerk verhalten, in dem die Interaktionsstruktur selbst über die Zeit angepasst wird

In einem dynamischen Netzwerk, in dem die Interaktionsstruktur im Laufe der Zeit angepasst wird, würde die Koevolution von Kognition und Kooperation wahrscheinlich zu interessanten Ergebnissen führen. Wenn die Netzwerktopologie sich ändert, könnten sich auch die Muster der Kooperation und der kognitiven Prozesse verändern. Beispielsweise könnten Agenten in einem sich verändernden Netzwerk neue Strategien entwickeln, um mit den sich ändernden Interaktionsmustern umzugehen. Dies könnte zu einer Anpassung der kognitiven Prozesse führen, um effektiver mit den neuen Netzwerkstrukturen umzugehen. Die Koevolution von Kognition und Kooperation in einem dynamischen Netzwerk könnte daher zu einer Vielzahl von Verhaltensweisen führen, die sich an die sich verändernden Umstände anpassen.

Welche Auswirkungen hätte es, wenn die Verhaltensregeln für Intuition und Deliberation unterschiedlich wären

Wenn die Verhaltensregeln für Intuition und Deliberation unterschiedlich wären, könnte dies zu einer komplexeren Dynamik in der Evolution von Kooperation und Kognition führen. Zum Beispiel könnten Agenten unterschiedliche Strategien für intuitive Entscheidungen und deliberative Entscheidungen entwickeln, die sich je nach Situation unterscheiden. Dies könnte zu einer differenzierteren Verhaltenslandschaft führen, in der Agenten flexibler auf verschiedene Umweltbedingungen reagieren können. Die Unterschiede in den Verhaltensregeln könnten auch dazu führen, dass bestimmte Verhaltensweisen in bestimmten Kontexten bevorzugt werden, was zu einer vielfältigeren Evolution von Kooperation und Kognition führt.

Wie könnte man die Mechanismen erklären, die dazu führen, dass eine geringere Konnektivität die Ausbreitung von Dual-Prozess-Kooperation unter Verstärkungslernen behindert

Die Mechanismen, die dazu führen, dass eine geringere Konnektivität die Ausbreitung von Dual-Prozess-Kooperation unter Verstärkungslernen behindert, könnten auf mehreren Faktoren beruhen. Eine geringere Konnektivität könnte dazu führen, dass Agenten weniger Informationen über die Strategien ihrer Nachbarn erhalten, was die Fähigkeit zur Anpassung und Kooperation beeinträchtigen könnte. Darüber hinaus könnten in weniger vernetzten Umgebungen die Auswirkungen von Verstärkungslernen weniger effektiv sein, da Agenten möglicherweise weniger Gelegenheiten haben, von erfolgreichen Strategien anderer zu lernen. Dies könnte dazu führen, dass intuitive Defektoren in solchen Umgebungen erfolgreicher sind, da sie weniger von anderen abhängig sind und weniger komplexe kognitive Prozesse benötigen. Insgesamt könnte eine geringere Konnektivität die Ausbreitung von Dual-Prozess-Kooperation unter Verstärkungslernen behindern, da die Interaktion und Informationsübertragung zwischen Agenten eingeschränkt ist.