核心概念
本文提出了一種加速交錯最小化演算法,用於解決在切比雪夫範數下矩陣的低秩逼近問題,並通過數值實驗證明了該演算法對於大規模問題的有效性。
摘要
本文提出了一種加速交錯最小化演算法,用於解決在切比雪夫範數下矩陣的低秩逼近問題。作者通過數值實驗證明了該演算法對於大規模問題的有效性,並從理論上研究了交錯最小化方法,引入了秩 r 的雙向交錯的概念。作者證明了秩 r 的雙向交錯的存在性是切比雪夫範數下最優低秩逼近的必要條件,並且交錯最小化方法的所有極限點都滿足該條件。
主要內容
1. 引言
低秩矩陣逼近演算法是微分方程、計算流體力學、推薦系統和機器學習等不同領域的重要組成部分。目前,大多數方法都在酉不變範數下解決了低秩矩陣逼近問題。對於此類範數,存在有效的演算法(例如 SVD)可以提供最佳逼近。酉不變範數逼近的質量與奇異值的衰減率有關。只有奇異值快速衰減的矩陣才能在此類範數下得到合理的逼近。然而,在某些應用中,矩陣的產生可以在其他範數下通過低秩結構成功逼近,而與奇異值衰減率無關。
本文解決了在切比雪夫範數下構建低秩逼近的問題。令 A ∈Rm×n 且 r ≥1 為整數。則秩-r 逼近問題可寫成:
(1.1)
∥A −UV T ∥C →
min
U∈Rm×r,V ∈Rn×r,
其中 ∥X∥C = max
i,j |xij|。為了求解問題 (1.1),作者在 [23] 中提出了交錯最小化方法。該方法交替地解決了以下問題:
(1.2)
∥A −UV T ∥C →
min
U∈Rm×r
對於固定的 V ∈Rn×r 和
∥A −UV T ∥C →
min
V ∈Rn×r
對於固定的 U ∈Rm×r。
可以看出 (1.2) 可以分解為一組最佳均勻逼近問題。
(1.3)
∥a −V u∥∞→min
u∈Rr .
據作者所知,求解 (1.3) 的第一個演算法是在 [23] 中提出的。
2. 相關工作
如果矩陣的奇異值快速衰減,則該矩陣允許在酉不變範數下進行有效的低秩逼近。否則,在此類範數下就沒有合理的低秩逼近。如果我們考慮切比雪夫範數下的逼近,情況就會有所不同。[22] 中的開創性結果表明,對於任何矩陣 X ∈Rm×n(其中 m ≥n)和任何 ε > 0,都存在秩為 r 的矩陣 Y ∈Rm×n,其中
(2.1)
r ≤⌈72 log (2n + 1)/ε2⌉,
使得 ∥X −Y ∥C ≤ε∥X∥2。這意味著對於任何固定的 ε > 0 和一系列譜範數有界且大小不斷增長的矩陣 {Xn}n,都存在一系列秩為 O(log n) 的矩陣 {Yn}n,使得 ∥Xn −Yn∥C ≤ε。請注意,至少 (2.1) 中的常數被高估了(另請參見 [3] 中關於 µ-相干性的更清晰估計)。例如,我們在第 7 節中證明了大小為 16,384 的單位矩陣可以通過秩為 333 的矩陣以 0.1 的精度逼近。
在切比雪夫範數下構建低秩逼近的問題具有挑戰性。[9] 中表明,即使對於秩-1 逼近,檢查矩陣 A ∈Rm×n 和數字 ε > 0 是否存在向量 u ∈Rm 和 v ∈Rn 使得 ∥A −uvT ∥C < ε 的問題也是 NP 完全的。
據作者所知,求解低秩切比雪夫逼近問題的第一個演算法是在 [5] 中針對秩-1 逼近的特殊情況提出的。令 A ∈Rm×n 為要逼近的矩陣,v(0) ∈Rn。然後,[5] 中的作者使用了交錯最小化方法,該方法解決了以下問題:
u(t) ←arg min
u∈Rm ∥A −uv(t)∥C,
v(t+1) ←arg min
v∈Rn
∥A −u(t)v∥C
對於 t = 0, 1, 2, . . . 。[5] 還引入了雙向交錯的概念,並證明了序列 {(u(t), v(t))}t 的所有極限點都具有這種交錯。[5] 中還表明,如果矩陣 A ∈Rm×n 和向量 uˆ ∈Rm 和 vˆ ∈Rn 存在雙向交錯,則對於任何滿足 sign u = sign uˆ 的 u ∈Rm,對於任何 v ∈Rn,都有
∥A −uˆvˆT ∥C ≤∥A −uvT ∥C。對於任何滿足 sign v = sign vˆ 的 v ∈Rn,也有類似的性質。該結果在 [16] 中用於推導一種能夠構造最優秩-1 切比雪夫逼近的方法。
在 [23] 中,作者提出了一種求解問題的方法
(2.2)
∥a −V u∥∞→min
u∈Rr
並將交錯最小化方法推廣到任意秩逼近。在本文中,我們提出了一種求解 (2.2) 的新方法,該方法的複雜度低於 [23] 中提出的方法。我們還將雙向交錯的概念擴展到任意秩,並證明了這種結構的存在是最優逼近的必要條件,並且交錯最小化方法的所有極限點都滿足該條件。
另一個研究方向與交替投影方法有關 [1, 2, 3, 4]。該方法通過 SVD 交替投影到低秩矩陣集和以目標矩陣為中心的切比雪夫範數下的 ε-球。使用二分搜索找到值 ε。在第 7 節中,我們比較了用於構建低秩切比雪夫逼近的交替最小化和交替投影方法。
總結
本文提出了一種加速交錯最小化演算法,用於解決在切比雪夫範數下矩陣的低秩逼近問題。作者通過數值實驗證明了該演算法對於大規模問題的有效性,並從理論上研究了交錯最小化方法,引入了秩 r 的雙向交錯的概念。作者證明了秩 r 的雙向交錯的存在性是切比雪夫範數下最優低秩逼近的必要條件,並且交錯最小化方法的所有極限點都滿足該條件。