本文提出了一種新的去中心化隨機梯度下降算法(DT-GO),可以在時變有向網路中進行優化,即使網路存在通信延遲,也不需要知道節點的出度。
首先,作者將優化問題分為兩個階段:局部優化和共識。在局部優化階段,節點使用自己的數據優化本地模型。在共識階段,節點通過通信來收斂到平均模型。
作者提出了一種新的共識算法,稱為DT-GO,它不需要知道節點的出度就可以收斂到真實平均值。作者還擴展了算法以容納通信延遲,並證明了在時變有向網路中的收斂性。
理論分析表明,DT-GO的收斂速度與中心化隨機梯度下降相同,只是受網路拓撲和延遲的影響被限制在高階項中。作者還提供了在邏輯回歸問題上的實驗結果,驗證了理論分析。
總的來說,本文提出了一種新的去中心化優化算法,可以應用於協作機器學習、傳感器網絡和多智能體系統等領域。
翻譯成其他語言
從原文內容
arxiv.org
深入探究