Effiziente Robustheit gegenüber dualer Störung in niedrigrangigen MDPs
Eine neue Robustheitskonzeption, die sowohl Unsicherheiten in den Merkmalen als auch in den Faktoren berücksichtigt, wird eingeführt, um die Effizienz und Skalierbarkeit robuster Verstärkungslernung in niedrigrangigen MDPs zu verbessern.
Instabilität und Rauschen in der Rückgabelandschaft kontinuierlicher Steuerung
Tiefe Verstärkungslernsysteme für kontinuierliche Steuerung zeigen erhebliche Instabilität in ihrer Leistung über die Zeit. Diese Arbeit untersucht die Rückgabelandschaft, d.h. die Abbildung zwischen einer Richtlinie und einer Rückgabe, und zeigt, dass populäre Algorithmen verrauschte Nachbarschaften dieser Landschaft durchqueren, in denen ein einzelner Update der Richtlinienparameter zu einer breiten Palette von Rückgaben führt. Durch Betrachtung der Verteilung dieser Rückgaben kartieren wir die Landschaft, charakterisieren fehleranfällige Regionen des Richtlinienraums und enthüllen eine verborgene Dimension der Richtlinienqualität.
Automatische Anpassung der Schrittweite für den Policy-Gradienten-Algorithmus durch Verwendung des Polyak-Schrittweitenverfahrens
Durch die Integration des Polyak-Schrittweitenverfahrens in den Policy-Gradienten-Algorithmus kann die Schrittweite automatisch angepasst werden, ohne dass eine manuelle Feinabstimmung erforderlich ist. Dies führt zu einer schnelleren Konvergenz und stabileren Strategien.
Globale Optimalität ohne Mischzeitrakeln in durchschnittlicher Belohnung RL via Multi-Level Actor-Critic
Der Multi-Level Actor-Critic (MAC) Algorithmus erreicht globale Optimalität in durchschnittlichen Belohnungs-MDPs, ohne Kenntnis der Mischzeit zu benötigen, und zeigt eine engere Abhängigkeit von der Mischzeit als vorherige Methoden.
Eine einfache Mischungsrichtlinienparameterisierung zur Verbesserung der Stichprobeneffizienz der CVaR-Optimierung
Eine einfache Mischungsrichtlinienparameterisierung kann die Stichprobeneffizienz von CVaR-Optimierungsalgorithmen verbessern, indem sie alle gesammelten Trajektorien für das Richtlinienupdate verwendet und das Problem des verschwindenden Gradienten bei flachen Verteilungsenden abmildert.
Eine einfache Mischungsrichtlinienparametrisierung zur Verbesserung der Stichprobeneffizienz der CVaR-Optimierung
Eine einfache Mischungsrichtlinienparametrisierung kann die Stichprobeneffizienz von CVaR-Optimierungsalgorithmen verbessern, indem sie alle gesammelten Trajektorien für das Richtlinienupdate verwendet und das Problem des verschwindenden Gradienten bei flachen Verteilungsenden abmildert.
Kontextuelle Weltmodelle ermöglichen Nullstellen-Generalisierung
Kontextuelle Rekurrente Zustandsraummodelle (cRSSM) ermöglichen Dreamers Agenten, Kontextinformationen systematisch in ihre Weltmodelle zu integrieren, was ihre Fähigkeit zur Nullstellen-Generalisierung verbessert.
Verteiltes TD(λ) mit Markov-Sampling: Lineare Beschleunigung durch einmaliges Mitteln
In einem verteilten Verstärkungslernsystem mit N Agenten, die unabhängig Markov-Ketten-Beobachtungen erzeugen, kann durch einmaliges Mitteln der Ergebnisse nach T Schritten eine lineare Beschleunigung im Vergleich zur zentralisierten Version erreicht werden, sowohl für TD(0) als auch für das allgemeinere TD(λ).
Selbstvorhersagende Repräsentationen: Ein vereinheitlichter Ansatz zum Verständnis und Lernen von Zustands- und Verlaufsrepräsentationen in der Verstärkungslernung
Viele scheinbar unterschiedliche Methoden und theoretische Konzepte zur Erlangung von Zustands- und Verlaufsrepräsentationen in der Verstärkungslernung basieren auf der gemeinsamen Idee der selbstvorhersagenden Abstraktion. Darüber hinaus liefert diese Arbeit theoretische Erkenntnisse zu weit verbreiteten Zielfunktionen und Optimierungstechniken wie dem Stop-Gradienten-Verfahren beim Lernen selbstvorhersagender Repräsentationen.
Effizientes Lernen sicherer Verhaltensweisen durch Nachahmung guter und Vermeidung schlechter Trajektorien
Der Kern dieser Arbeit ist ein neuartiger Ansatz für sicheres Verstärkungslernen, der darauf abzielt, die Verhaltensweisen guter Trajektorien nachzuahmen und schlechte Trajektorien zu vermeiden, anstatt sich auf die Schätzung von Kostenfunktionen zu verlassen.
© 2024 by Linnk AI