基於有限差分近似的無導數優化：一項實驗研究

核心概念

在無導數優化問題中，採用批量樣本進行梯度估計的 Cor-CFD 算法，儘管每次迭代需要更多樣本，但由於梯度估計更精確，可以使用更大的步長，因此在收斂速度和解的質量方面通常優於經典的 KW 和 SPSA 算法。

摘要

這篇研究論文比較了不同無導數優化 (DFO) 算法的性能，特別關注於基於有限差分 (FD) 近似的算法。
研究目標：

探討在 DFO 中，梯度估計精度和迭代步數之間的權衡。
評估使用批量樣本進行梯度估計的 Cor-CFD 算法的性能，並與經典的 KW 和 SPSA 算法進行比較。
方法：

實驗研究，比較 Cor-CFD、KW 和 SPSA 算法在不同維度和噪聲水平下的性能。
使用 RMSE(Solution Gap) 和 RMSE(Optimality Gap) 作為性能指標。
在低維問題中，將 Cor-CFD 與 KW 進行比較；在高維問題中，將 Cor-CFD 與 SPSA 進行比較。
主要發現：

在低維問題中，Cor-CFD 算法表現出穩定的收斂行為，而 KW 算法的優化軌跡經常出現震盪。
在高維問題中，Cor-CFD 算法的收斂速度明顯快於 SPSA 算法。
Cor-CFD 算法在不同噪聲水平和函數環境下都表現出優於 KW 和 SPSA 算法的性能。
主要結論：

採用批量樣本進行梯度估計的 Cor-CFD 算法，儘管每次迭代需要更多樣本，但由於梯度估計更精確，可以使用更大的步長，因此在收斂速度和解的質量方面通常優於經典的 KW 和 SPSA 算法。
研究結果表明，在 DFO 中，梯度估計的精度比迭代步數更為重要。
意義：

本研究為基於 FD 近似的 DFO 算法提供了新的見解。
Cor-CFD 算法為解決 DFO 問題提供了一種有效且穩健的方法。
局限性和未來研究方向：

開發自適應樣本分配策略，根據優化結果動態調整樣本數量，可以進一步提高梯度估計的效率。
建立基於 Cor-CFD 的優化算法的理論收斂性。
探索將這些發現應用於特定領域，例如深度學習超參數優化和強化學習。

統計資料

在 µ(x) = x4，σ = 10 和樣本對為 10000 的情況下，Cor-CFD-GD 算法的 RMSE(Solution Gap) 為 1.12，而 KW 算法的 RMSE(Solution Gap) 為 0.43。
在 µ(x) = -100cos(πx/100)，σ = 100 和樣本對為 10000 的情況下，Cor-CFD-GD 算法的 RMSE(Solution Gap) 為 10.75，而 KW 算法的 RMSE(Solution Gap) 為 24.43。
在 d = 64，σ = 1 和樣本對為 1000 的情況下，Cor-CFD-GD 算法的 RMSE(Solution Gap) 為 77.24，RMSE(Optimality Gap) 為 7.203，而 SPSA 算法的 RMSE(Solution Gap) 為 117.30，RMSE(Optimality Gap) 為 232.58。

從以下內容提煉的關鍵洞見

Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study

by Wang Du-Yi, ... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00112.pdf

深入探究

除了有限差分近似之外，還有哪些其他的無導數優化方法，它們與 Cor-CFD 相比表現如何？

除了有限差分近似 (FD) 之外，還有許多其他的無導數優化 (DFO) 方法，以下列舉幾種常見的方法，並與 Cor-CFD 做比較：

直接搜索法 (Direct Search Methods)：這類方法直接利用目標函數值進行搜索，不需計算梯度信息。常見的直接搜索法包括：

模式搜索法 (Pattern Search)：例如 Hooke-Jeeves 方法，通過預先定義的模式在搜索空間中移動。
信賴域法 (Trust Region Methods)：在當前迭代點附近建立一個信賴域，並在該域內尋找更優解。
共軛方向法 (Conjugate Direction Methods)：例如 Powell 方法，通過構造一組共軛方向來加速搜索。

與 Cor-CFD 相比，直接搜索法通常收斂速度較慢，尤其是在高維問題中。這是因為它們沒有利用梯度信息來指導搜索方向。然而，直接搜索法對於處理非光滑或不連續的目標函數更具魯棒性。

基於模型的方法 (Model-Based Methods)：這類方法利用已有的函數值信息构建目标函数的代理模型，并在代理模型上进行优化。常用的代理模型包括：

高斯過程 (Gaussian Processes)：利用高斯過程對目標函數進行建模，並利用預測的不確定性來指導搜索。
徑向基函數 (Radial Basis Functions)：利用徑向基函數插值已有的函數值，构建目标函数的近似模型。
多項式回歸 (Polynomial Regression)：利用多項式函數拟合已有的函數值，构建目标函数的近似模型。

與 Cor-CFD 相比，基於模型的方法通常能够更快地找到全局最优解，尤其是在高维问题中。这是因为它们能够利用代理模型来更好地探索搜索空间。然而，基於模型的方法的计算成本通常更高，尤其是在需要頻繁更新代理模型的情况下。

進化算法 (Evolutionary Algorithms)：這類方法模擬生物進化過程，通過迭代地生成、评估和选择候选解来寻找最优解。常见的进化算法包括：

遗传算法 (Genetic Algorithms)：利用遗传操作（例如选择、交叉和变异）来生成新的候选解。
粒子群优化算法 (Particle Swarm Optimization)：模拟鸟群或鱼群的觅食行为，通过粒子间的相互学习来寻找最优解。
差分进化算法 (Differential Evolution)：通过对种群中个体进行差分操作来生成新的候选解。

與 Cor-CFD 相比，進化算法通常更适合于处理复杂、非凸或多模态的优化问题。这是因为它们能够在全局范围内进行搜索，并跳出局部最优解。然而，進化算法的收斂速度通常較慢，并且需要大量的函数评估。
总的来说，Cor-CFD 作为一种基于有限差分的无导数优化方法，其优势在于：

易于实现: Cor-CFD 的算法流程相对简单，易于理解和实现。
计算成本相对较低: Cor-CFD 只需要进行少量的函数评估，因此计算成本相对较低。
然而，Cor-CFD 也存在一些局限性：

收敛速度可能较慢: Cor-CFD 的收敛速度取决于梯度估计的精度，而梯度估计的精度又受到噪声和有限差分步长的影响。
不适用于高维问题: 随着问题维度的增加，Cor-CFD 的计算成本会急剧增加，因此不适用于高维问题。

在哪些情況下，經典的 KW 和 SPSA 算法可能比 Cor-CFD 算法更有效？

儘管 Cor-CFD 在多種情況下表現優於經典的 KW 和 SPSA 算法，但在以下特定情況下，KW 和 SPSA 可能更有效：

極度受限的樣本預算: 當每個迭代的函數評估次數極度受限時，KW 和 SPSA 的優勢就體現出來了。它們每次迭代僅需兩次函數評估，而 Cor-CFD 則需要更多樣本來進行更精確的梯度估計。如果樣本預算極度緊張，那麼即使 Cor-CFD 能夠更精確地估計梯度，也可能無法進行足夠的迭代次數來達到令人滿意的結果。

低維度問題: 對於低維度問題，KW 和 SPSA 的計算成本相對較低，並且可以通過仔細調整步長和擾動參數來獲得合理的性能。在這些情況下，Cor-CFD 更精確的梯度估計带来的优势可能并不足以弥补其更高的计算成本。

目標函數非常平滑: 當目標函數非常平滑，且梯度變化相對緩慢時，使用較少樣本的有限差分近似也能夠提供足夠準確的梯度方向。在這種情況下，KW 和 SPSA 的簡單性和低計算成本可能會使其成為比 Cor-CFD 更有效的方法。

需要快速初始進展: SPSA 在初始階段通常可以快速接近最優解，尤其是在高維度問題中。這是因為它在每次迭代中同時擾動所有變量，可以更快地探索搜索空間。如果首要目標是在初始階段快速獲得進展，那麼 SPSA 可能比 Cor-CFD 更為合適。

如何將 Cor-CFD 算法應用於解決實際問題，例如深度學習模型的超參數優化？

Cor-CFD 算法可以應用於解決深度學習模型的超參數優化問題，步驟如下：

定義目標函數: 將深度學習模型的性能指标（例如，驗證集上的準確率或损失函数值）作为目标函数。

确定超参数搜索空间: 确定需要优化的超参数及其取值范围，构成超参数搜索空间。

应用 Cor-CFD 算法: 利用 Cor-CFD 算法在超参数搜索空间中搜索最优的超参数组合。

在每次迭代中，Cor-CFD 算法会根据当前的超参数组合，利用有限差分法估计目标函数的梯度。
然后，利用估计的梯度信息，更新超参数组合，使其朝着目标函数值下降的方向移动。
重复上述步骤，直到满足停止条件（例如，达到最大迭代次数或目标函数值的变化小于预设阈值）。

验证最优超参数: 使用找到的最优超参数组合重新训练深度学习模型，并在测试集上评估其性能。

以下是一些应用 Cor-CFD 算法进行深度学习模型超参数优化的技巧：

使用合适的有限差分步长: 有限差分步长的大小会影响梯度估计的精度。如果步长太小，梯度估计容易受到噪声的影响；如果步长太大，梯度估计的误差会增大。可以根据经验或使用自适应步长策略来选择合适的步长。

使用并行计算: Cor-CFD 算法的每次迭代都需要进行多次函数评估，可以利用并行计算来加速这一过程。

结合其他优化方法: 可以将 Cor-CFD 算法与其他优化方法（例如，贝叶斯优化）结合使用，以提高优化效率。
需要注意的是，深度学习模型的训练过程通常比较耗时，因此应用 Cor-CFD 算法进行超参数优化时，需要权衡计算成本和优化效果。