投影梯度算法在紧致矩阵流形上的收敛性分析

本文提出了一种称为"变换梯度投影(TGP)算法"的新算法框架,利用对紧致矩阵流形的投影来解决优化问题。与现有算法相比,我们的方法的关键创新在于利用了一类新的搜索方向和各种步长,包括Armijo、非单调Armijo和固定步长,来指导下一次迭代的选择。我们的框架通过包含经典的梯度投影算法作为特殊情况,以及与基于重投影的线搜索算法相交,提供了灵活性。我们特别关注Stiefel流形或Grassmann流形,发现文献中的许多现有算法可以被视为我们提出的框架中的特殊实例,该算法框架也引入了几个新的特殊情况。然后,我们全面探讨了这些算法在不同步长下的收敛性质,考虑了各种搜索方向和步长。为此,我们广泛分析了对紧致矩阵流形的投影的几何性质,使我们能够扩展文献中与重投影相关的经典不等式。在此基础上,我们在三种不同的步长下建立了TGP算法的弱收敛性、收敛速度和全局收敛性。当紧致矩阵流形是Stiefel流形或Grassmann流形时,我们的收敛结果要么包含,要么超越了文献中的结果。最后,通过一系列数值实验,我们观察到TGP算法由于其在选择搜索方向方面的灵活性,在几个场景中优于经典的梯度投影和基于重投影的线搜索算法。