Dieses Papier entwickelt verteilte Optimierungsalgorithmen, die eine Verletzung der Kopplungsbeschränkungen zu jedem Zeitpunkt vermeiden und gleichzeitig eine explizite Konvergenzgarantie bieten.
Ein neuer Algorithmus für verteilte Optimierung unter Ungleichheitsbeschränkungen, der sowohl eine garantierte Differenzialgeschütztheit als auch eine genaue Konvergenz zum globalen Optimum sicherstellt, selbst wenn die Zahl der Iterationen gegen unendlich geht.
Drei Schlüsseltechniken - Ähnlichkeit lokaler Funktionen, Kompression übertragener Informationen und lokale Updates - können in einem einzigen Algorithmus kombiniert werden, um die Kommunikationskomplexität für verteilte Variationsungleichungen und Sattelpunktprobleme zu minimieren.
Eine neuartige implizite Verfolgungsmethode wird vorgestellt, um ein verteiltes Optimierungsproblem mit global gekoppelter Gleichheitsnebenbedingung und lokalen Nebenbedingungsmengen effizient zu lösen.
Der Algorithmus DP-DGT ermöglicht eine differentiell private verteilte Ressourcenzuteilung über gerichtete Netzwerke, indem er die ausgetauschten Nachrichten mit unabhängigem Laplace-Rauschen verschleiert. Dabei konvergiert der Algorithmus fast sicher zu einer Nachbarschaft der optimalen Lösung, ohne die Annahme beschränkter Gradienten zu benötigen.
Dieser Artikel präsentiert einen allgemeinen algorithmischen Rahmen für byzantinisch-resiliente verteilte Optimierung, der einige der neuesten Algorithmen als Spezialfälle umfasst. Es wird gezeigt, dass alle regulären Agenten geometrisch schnell zu einer Kugel um die optimale Lösung konvergieren, deren Größe charakterisiert wird. Außerdem wird bewiesen, dass unter bestimmten Bedingungen eine approximative Konsensbildung geometrisch schnell erreicht werden kann.
Ein differentiell privater verteilter stochastischer Optimierungsalgorithmus mit zeitlich variierenden Stichprobengrößen wird vorgestellt, der sowohl die Konvergenz des Algorithmus als auch die differenzielle Privatsphäre mit einem endlichen kumulativen Datenschutzbudget ε für eine unendliche Anzahl von Iterationen gleichzeitig gewährleistet.
Ein differentiell privater verteilter stochastischer Optimierungsalgorithmus mit zeitlich variierenden Stichprobengrößen wird vorgestellt, der sowohl die Konvergenz des Algorithmus als auch die differenzielle Privatsphäre mit einem endlichen kumulativen Datenschutzbudget ε für eine unendliche Anzahl von Iterationen gleichzeitig gewährleistet.
Die Leistung verteilter Optimierungsverfahren ist in vielen Fällen unabhängig von der Anzahl der Agenten im System und kann daher im Grundfall mit nur zwei Agenten berechnet werden. Dies wird durch einen neuartigen Ansatz erreicht, der Symmetrien in der Berechnung der Worst-Case-Leistung systematisch ausnutzt.
Durch die geeignete Gestaltung eines Quantisierungsschemas kann die Konvergenz zu einem Sattelpunkt in der verteilten nichtkonvexen Optimierung vermieden und die Konvergenz zu einem Punkt zweiter Ordnung sichergestellt werden.