基於求解器參與訓練的湍流閉合模型

核心概念

本文提出了一種基於求解器參與訓練的機器學習方法，用於構建更精確和穩定的湍流閉合模型，並探討了其在高雷諾數湍流模擬中的應用。

摘要

文獻回顧

• 三維湍流是一個複雜的多尺度現象，其特徵在於納維-斯托克斯 (NS) 方程中的非線性傳輸項佔主導地位，超過了粘性阻尼。
• 湍流的行為受雷諾數 Re 控制，Re = u0l0/ν，其中 u0 代表特徵速度，l0 代表典型長度尺度，ν 代表運動粘度。
• 在高 Re 下，湍流表現出一系列非平凡的行為，包括非高斯統計和間歇性動力學。
• 精確解析三維湍流的計算成本極高。自由度 (DOF) 隨雷諾數呈冪律增長，#DOF ∝ Re9/4，因此儘管過去幾十年進行了廣泛的研究，但通過納維-斯托克斯 (NS) 方程對極高雷諾數進行數值研究通常是不可能的。
• 一種在減少自由度數量的同時保留能量級聯的主要基於物理成分的有效方法是採用對自由度進行抽取，其中剩餘變量在對數尺度上等距分佈——即所謂的殼模型方法。
• 大渦模擬 (LES) 亞網格尺度建模是湍流建模中的一個核心挑戰，它引起了理論和應用研究人員的廣泛興趣。
• LES 通過在一定尺度上放置一個濾波器並僅解析到該尺度來減少在完全解析模擬中遇到的自由度。這意味著需要以某種方式對所謂的亞網格尺度進行建模。
• 開發穩健的亞網格模型對於 LES 的成功至關重要，因為它決定了模擬在捕捉跨尺度的正確能量動力學方面的保真度。
• 由於這項任務的挑戰性，研究人員嘗試通過數據驅動的方法來學習亞網格尺度閉合。特別是，利用大型神經網絡 (NN) 的深度學習 (DL) 最近獲得了極大的普及。
• 基於通用逼近定理，神經網絡可以表示複雜的、高維的、非線性的函數。
• 自從反向傳播算法的引入以及最近硬件改進帶來的計算能力的提高，基於深度學習的方法在各種具有挑戰性的問題中都取得了成功。
• 當函數的直接解析形式未知或無法獲得時，深度學習可能非常有用，使其成為亞網格尺度建模任務的絕佳工具。

本文貢獻

• 本文針對湍流的殼模型開發了一種基於深度學習的亞網格尺度閉合模型。
• 本文的方法採用了一種稱為求解器參與訓練或後驗訓練的新型訓練技術。這種方法將物理系統控制方程的可微分求解器直接納入到負責學習閉合的神經網絡的學習過程中。
• 本文證明，與使用傳統的靜態先驗範式訓練的閉合模型相比，這種方法產生的閉合模型更穩定，性能更好。
• 此外，本文還研究了循環中理想時間的概念，這是採用這種方法的文獻中經常被忽視的一個關鍵方面，並試圖將其與相關的物理量聯繫起來。

方法

• 本文採用 Sabra 模型作為湍流的殼模型，並使用四階龍格-庫塔 (RK4) 方案對其進行時間積分。
• 本文使用多層感知器 (MLP) 作為神經網絡的架構，並使用均方誤差 (MSE) 作為損失函數。
• 本文使用求解器參與訓練的方法，將求解器直接納入到神經網絡的訓練過程中，並通過反向傳播算法更新神經網絡的權重。

結果

• 本文的模型在各種統計量上都與真實值非常吻合，包括不同階數的平坦度、歐拉結構函數和拉格朗日結構函數。
• 本文的模型還能夠正確地再現湍流的間歇性特徵，這一點可以從速度信號實部的概率密度函數 (pdf) 中看出來。
• 與其他最先進的閉合模型相比，本文的模型表現出更好的性能，特別是在截止尺度附近，這一點可以從二階歐拉結構函數的局部斜率中看出來。
• 本文的模型在訓練數據集之外的時間範圍內也保持穩定，這一點可以從三階歐拉結構函數的局部斜率隨時間的演變中看出來。
• 本文的模型在使用比真實值演化時間步長大 10,000 倍的時間步長時仍然能夠保持良好的性能，這一點可以從不同階數平坦度的均方誤差隨 LES 時間步長的變化中看出來。

結論

• 本文提出了一種基於求解器參與訓練的方法來學習湍流殼模型中的亞網格尺度閉合。
• 該方法利用了可微分物理範式，允許神經網絡在訓練過程中與求解器交互，並後驗地優化閉合項。
• 通過結合展開的求解器交互，本文證明了該模型在穩定性和準確性方面優於傳統的先驗訓練模型。
• 此外，本文還表明，儘管依賴於更簡單的架構，但該模型能夠與具有複雜架構的最先進的深度學習方法表現出相似的甚至更好的性能。
• 本文的研究結果表明，循環中的理想時間與損失中包含的最快殼的渦流翻轉時間密切相關。這種關係自然產生於損失函數的選擇，在本文中是均方誤差。
• 在未來，當損失函數在本質上是統計性的（例如，基於真實值和模型的通量之間的差異）並且不允許去相關時，研究循環中的最佳時間將是有趣的。
• 本文的研究還為未來使用求解器參與訓練方法的工作提供了相關的見解，特別是如何先驗地調整這個循環中的時間超參數。這些見解基於系統的物理原理，允許更好地泛化到不同的物理模型。

統計資料

雷諾數 Re ≈ 10^12
科氏尺度 Nη = 30
亞網格截止尺度 Nc = 14
積分尺度的渦流翻轉時間 τ0 = 7.553 × 10^-1
耗散尺度的渦流翻轉時間 τ η = 1.8367 × 10^-6
真實值的時間步長 ∆t = 1 × 10^-8
LES-NN 模型的時間步長 ∆t = 1 × 10^-5
訓練數據集的積分時間 Ttrain = 1.65τ0
測試數據集的積分時間 Ttest = 3.31τ0
最佳循環時間 ≈ 0.41⟨τNc⟩
LES 的時間步長 ∆t = 10^-5
LES 的時間步長可以增加到 ∆t = 10^-4，而性能沒有明顯下降

引述

從以下內容提煉的關鍵洞見

Solver-in-the-loop approach to turbulence closure

by Andr... 於 arxiv.org 11-21-2024

https://arxiv.org/pdf/2411.13194.pdf

深入探究

如何將這種基於求解器參與訓練的方法應用於更複雜的湍流模型，例如 Navier-Stokes 方程？

將基於求解器參與訓練的方法應用於 Navier-Stokes 方程，需要克服以下挑戰：

計算複雜度： Navier-Stokes 方程比殼模型複雜得多，需要更大的計算資源來進行求解。尤其在高雷諾數湍流中，需要解析更小尺度的流動結構，這對計算能力提出了更高的要求。為了解決這個問題，可以考慮以下方法：

使用高效的數值方法，例如高阶有限差分法、谱方法等。
利用并行计算技术，例如多GPU计算、分布式计算等。
采用降阶模型，例如 Proper Orthogonal Decomposition (POD) 等，降低 Navier-Stokes 方程的自由度。

内存需求： 求解器參與訓練需要存储多个时间步长的中间变量，这在 Navier-Stokes 方程的情况下會導致巨大的内存需求。可以考虑以下方法来缓解这个问题：

使用 checkpointing 技术，只存储部分时间步长的中间变量，并在需要时重新计算其他变量。
采用低精度计算，例如混合精度计算，使用较低的精度存储部分变量，以减少内存占用。

边界条件处理： Navier-Stokes 方程的边界条件比殼模型复杂得多，需要仔细处理才能保证模型的准确性和稳定性。可以考虑以下方法：

使用满足边界条件的神经网络架构，例如 Physics-Informed Neural Networks (PINNs)。
在损失函数中加入边界条件约束，强制模型满足边界条件。

总而言之，将求解器參與訓練应用于 Navier-Stokes 方程是一个具有挑战性的课题，需要克服计算复杂度、内存需求和边界条件处理等方面的挑战。然而，考虑到这种方法在殼模型中取得的成功，以及 Navier-Stokes 方程在湍流模拟中的重要性，这仍然是一个值得深入研究的方向。

如果採用基於統計量的損失函數，例如基於真實值和模型的通量之間的差異，那麼循環中的最佳時間會如何變化？

如果采用基于统计量的损失函数，例如基于真实值和模型的通量之间的差异，那么循环中的最佳时间可能会发生以下变化：

对时间步长的敏感度降低： 与直接比较速度场不同，通量是一个时间积分量，对瞬时误差的敏感度较低。因此，即使时间步长较大，模型仍然可以学习到合理的通量预测，最佳循环时间可能比使用均方误差时更长。
更关注大尺度结构： 通量主要由大尺度结构决定，因此使用基于通量的损失函数可能会促使模型更关注大尺度结构的预测，而对小尺度结构的预测精度要求相对较低。这可能导致最佳循环时间更接近大尺度结构的特征时间尺度，例如积分时间尺度。
需要更长的训练时间： 由于通量对模型参数的变化不如速度场敏感，使用基于通量的损失函数可能需要更长的训练时间才能收敛到合理的解。
总而言之，采用基于统计量的损失函数可能会改变循环中的最佳时间，使其对时间步长的敏感度降低，更关注大尺度结构，并需要更长的训练时间。最佳循环时间的具体变化取决于所采用的损失函数形式、湍流模型的特性以及训练数据的特征。

將這種基於求解器參與訓練的方法與基於模型的深度強化學習方法進行比較和對比，可以發現哪些優缺點？

将基于求解器参与训练的方法与基于模型的深度强化学习方法进行比较和对比，可以发现以下优缺点：

特征
基于求解器参与训练
基于模型的深度强化学习

模型结构
明确依赖于物理模型，神经网络主要用于学习未解析尺度的影响
通常使用神经网络构建环境模型，并使用强化学习算法训练策略网络

数据需求
需要高质量的仿真数据或实验数据进行训练
可以在模拟环境中进行训练，数据获取相对容易

可解释性
模型的可解释性较强，可以分析神经网络学习到的物理规律
模型的可解释性较差，难以分析策略网络的决策过程

泛化能力
泛化能力取决于物理模型的准确性和训练数据的代表性
泛化能力取决于环境模型的准确性和策略网络的学习能力

计算效率
训练过程需要进行多次物理模型求解，计算量较大
训练过程主要集中在神经网络的训练，计算效率相对较高

优点：

基于求解器参与训练：

物理一致性: 由于直接嵌入了物理模型，因此能确保模型预测与已知物理规律保持一致。
数据效率: 相较于纯粹数据驱动的方法，通常需要较少的训练数据。
可解释性: 物理模型的嵌入为模型预测提供了一定的可解释性。

基于模型的深度强化学习：

灵活性: 可以应用于各种复杂问题，即使物理模型未知或难以求解。
探索能力: 强化学习算法可以探索不同的策略，并找到最优解。
在线学习: 可以进行在线学习，根据环境反馈不断优化策略。
缺点：

基于求解器参与训练：

计算成本: 训练过程需要反复调用求解器，计算成本高昂。
物理模型依赖: 模型性能受限于物理模型的准确性。
实现复杂度: 需要开发可微分的物理求解器，实现难度较大。

基于模型的深度强化学习：

模型偏差: 环境模型的准确性直接影响策略的性能，可能存在模型偏差。
样本效率: 训练过程可能需要大量的交互数据，样本效率较低。
稳定性: 训练过程可能不稳定，难以收敛到最优策略。
总而言之，两种方法各有优缺点，选择哪种方法取决于具体问题的特点和需求。如果已知准确的物理模型，并且计算资源充足，那么基于求解器参与训练的方法是更好的选择。如果物理模型未知或难以求解，或者需要更高的灵活性，那么基于模型的深度强化学习方法是更合适的选择。