基於生成式 PDE 求解的 DiffusionPDE：在部分觀測下的應用

核心概念

DiffusionPDE 是一種新的框架，可以利用生成式擴散模型從稀疏數據中求解偏微分方程式，在正向和反向問題上都優於現有方法。

摘要

摘要
本文介紹了一個使用生成式擴散模型求解偏微分方程式 (PDE) 的通用框架 DiffusionPDE，尤其關注於缺乏完整場景資訊以應用經典求解器的情況。大多數現有的正向或反向 PDE 方法在數據觀測或基礎係數不完整時表現不佳，而這在現實世界的測量中很常見。DiffusionPDE 可以通過模擬解空間和係數空間的聯合分佈來同時填補缺失資訊並求解 PDE。實驗結果顯示，學習到的生成先驗可以準確地求解各種在部分觀測下的 PDE，顯著優於現有最先進的正向和反向方法。
引言
偏微分方程式 (PDE) 是現代科學的基石，支撐著許多解釋自然現象的當代物理理論。求解 PDE 的能力使我們能夠預測系統的未來狀態（正向過程）並從狀態測量中估計潛在的物理特性（反向過程）。
然而，經典方法可能非常耗時，這促使了數據驅動、基於學習的求解器的發展，這些求解器速度顯著提高並且能夠處理一系列 PDE。這些基於學習的方法通常使用深度神經網絡學習輸入係數及其解之間的確定性映射。
儘管取得了進展，但現有的基於學習的方法與經典求解器一樣，依賴於對係數的完整觀測來映射解。然而，關於潛在物理特性或系統狀態的完整資訊很少能獲得；實際上，大多數測量在空間和時間上都是稀疏的。經典求解器和最先進的數據驅動模型通常忽略這些情況，因此在面對部分觀測時會失敗。這種限制將它們的使用主要限制在合成模擬中，在這些模擬中，完整的場景配置是設計好的，這使得它們難以應用於現實世界的情況。
方法
概述
為了在不確定性下解決物理信息正向和反向問題，我們首先在一系列偏微分方程式 (PDE) 上預訓練一個擴散生成模型。該模型旨在學習 PDE 係數（或初始狀態）及其對應解（或最終狀態）的聯合分佈。我們的方法涉及使用來自任一側或兩側的稀疏觀測來恢復兩個空間中的完整數據。我們通過迭代去噪隨機高斯噪聲來實現這一點，就像在常規擴散模型中一樣，但在去噪過程中，稀疏觀測和 PDE 函數提供了額外的指導。
求解帶有引導擴散的 PDE
我們的工作重點是兩類 PDE：靜態 PDE 和動態時間相關 PDE。靜態系統（例如，達西流或泊松方程）由與時間無關的函數 f 定義：
f(c; a, u) = 0 in Ω⊂Rd,
u(c) = g(c) in ∂Ω,
其中 Ω 是有界域，c ∈Ω 是空間坐標，a ∈A 是 PDE 係數場，u ∈U 是解場。∂Ω 是域 Ω 的邊界，u|∂Ω= g 是邊界約束。我們的目標是從 a 或 u 或兩者上的稀疏觀測中恢復 a 和 u。
類似地，我們考慮動態系統（例如，Navier-Stokes）：
f(c, τ; a, u) = 0, in Ω× (0, ∞)
u(c, τ) = g(c, τ), in ∂Ω× (0, ∞)
u(c, τ) = a(c, τ), in ¯Ω× {0}
其中 τ 是時間坐標，a = u0 ∈A 是初始條件，u 是解場，u|Ω×(0,∞) = g 是邊界約束。我們的目標是同時從 a、uT 或兩者上的稀疏觀測中恢復 a 和特定時間 T 的解 uT := u(·, T)。
最後，我們探索了由 Burgers 方程控制的一維動態系統中跨所有時間步長 u0:T 的狀態恢復。我們的網絡 Dθ 模擬所有一維狀態的分佈，包括在時間維度上堆疊的初始條件 u0 和解 u1:T，形成一個二維數據集。
引導擴散算法
在數據驅動的 PDE 文獻中，上述任務可以通過學習 a 和 u（或動態系統的 uT）之間的定向映射來實現。因此，現有方法通常為正向解算子 F : A →U 和反向解算子 I : U →A 訓練單獨的神經網絡。
我們的方法使用單個網絡和使用引導擴散框架的算法來統一正向和反向算子。DiffusionPDE 可以使用一個預先訓練的擴散模型 Dθ 來處理任意稀疏模式，該模型學習 A 和 U 的聯合分佈，在通道維度上連接，表示為 X。因此，我們的數據 x ∈X，其中 X := A × U。我們遵循典型的擴散模型程序 [45] 在一系列 PDE 上訓練我們的模型。
一旦我們訓練了擴散模型 Dθ，我們就會在推理過程中採用我們的物理信息 DPS [46] 公式來指導 x ∈X 的採樣，以滿足稀疏觀測和給定的 PDE，如算法 1 中所述。我們遵循公式 5 使用兩個指導術語修改評分函數：
∇xi log p(xi|yobs, f) ≈∇xi log p(xi) −ζobs∇xiLobs −ζpde∇xiLpde,
其中 xi 是去噪步驟 i 處的噪聲數據，yobs 是觀測值，f(·) = 0 是基礎 PDE 條件。Lobs 和 Lpde 分別表示稀疏觀測的 MSE 損失和 PDE 方程殘差：
Lobs(xi, yobs; Dθ) = 1/n∥yobs −ˆxiN∥22 = 1/n Σ(yobs(oj) −ˆxiN(oj))2,
Lpde(xi; Dθ, f) = 1/m∥0 −f(ˆxiN)∥22 = 1/m ΣΣf(cj, τk; ˆuj, ˆaj)2,
其中 ˆxiN = Dθ(xi) 是去噪時間步長 i 處的乾淨圖像估計，可以將其拆分為係數 ˆui 和解 ˆai。這裡，m 是網格點（即像素）的總數，n 是稀疏觀測點的數量。oj 表示第 j 個觀測的時空坐標。請注意，在不失一般性的情況下，可以針對系統中所有適用的 PDE 函數 f 累積 Lpde，並且對於靜態系統，時間分量 τk 被忽略。
實驗
我們展示了 DiffusionPDE 在各種 PDE 中用於反向和正向問題的有用性，並將其與最近基於學習的技術進行了比較。我們在以下 PDE 系列上進行了測試。

達西流
非齊次亥姆霍茲方程
無界納維-斯托克斯方程
有界納維-斯托克斯方程
Burgers 方程
實驗結果表明，DiffusionPDE 在稀疏觀測下，在正向和反向問題上都優於其他方法，包括 PINO [4]、DeepONet [5]、PINNs [6] 和 FNO [3]，證明了我們方法的新穎性和獨特性。
結論和未來的工作
在這項工作中，我們開發了 DiffusionPDE，這是一種基於擴散的 PDE 求解器，它通過使用生成先驗來填補缺失信息，從而解決了從部分觀測中求解 PDE 的挑戰。我們制定了一個擴散模型，該模型學習係數（或初始狀態）空間和解（或最終狀態）空間的聯合分佈。在採樣過程中，DiffusionPDE 可以通過使用稀疏測量和 PDE 約束來指導其去噪，從而靈活地生成合理的數據。我們的新方法顯著改進了現有的最先進方法，向著利用生成模型的力量的通用 PDE 求解框架邁進。
這項工作出現了幾個有希望的未來研究方向。目前，DiffusionPDE 僅限於求解二維動態 PDE 的切片；將其功能擴展到涵蓋這些方程的完整時間間隔提供了一個重要的機會。此外，該模型在缺乏約束的空間中難以準確地解決問題是另一個需要探索的關鍵領域。DiffusionPDE 還存在採樣過程緩慢的問題，可能需要更快的解決方案。

統計資料

DiffusionPDE 能夠以 1% ∼10% 的誤差恢復 a 和 u，在大多數 PDE 系列中，任何一側的觀測點約為 6%。
一旦觀察到超過 3% 的點，DiffusionPDE 對觀察次數變得不敏感，並且可以很好地解決問題。
u 的相對誤差從 9.3% 降低到 0.6%，a 的相對誤差從 13.2% 降低到 9.4%。

從以下內容提煉的關鍵洞見

DiffusionPDE: Generative PDE-Solving Under Partial Observation

by Jiahe Huang,... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2406.17763.pdf

深入探究

DiffusionPDE 如何應用於更高維度的 PDE 問題？

將 DiffusionPDE 應用於更高維度的 PDE 問題會面臨一些挑戰：

計算複雜度： DiffusionPDE 的計算複雜度會隨著維度的增加而急劇上升。更高維度的 PDE 需要更密集的網格來表示，導致模型訓練和推論的計算量大幅增加。
數據需求： 訓練 DiffusionPDE 需要大量的數據，而高維 PDE 的數據生成更加困難且成本高昂。
模型設計： DiffusionPDE 的模型架構可能需要針對高維數據進行調整，例如使用更高效的網絡結構或降維技術。
以下是一些可能的解決方案：

模型並行化： 可以利用分布式訓練和推論技術來加速高維 DiffusionPDE 的計算。
數據增強： 可以使用數據增強技術來擴充訓練數據集，例如利用 PDE 的對稱性或不變性生成新的數據樣本。
降維技術： 可以使用降維技術來降低 PDE 的維度，例如主成分分析 (PCA) 或自動編碼器。
混合方法： 可以將 DiffusionPDE 與其他方法結合使用，例如使用傳統數值方法求解低維 PDE，然後使用 DiffusionPDE 處理高維部分。
總之，將 DiffusionPDE 應用於更高維度的 PDE 問題需要克服計算複雜度、數據需求和模型設計方面的挑戰。通過採用適當的策略，例如模型並行化、數據增強、降維技術和混合方法，可以有效地解決這些問題，並將 DiffusionPDE 的應用範圍擴展到更廣泛的 PDE 問題。

如果訓練數據集中存在偏差，DiffusionPDE 的性能會受到什麼影響？

如果訓練數據集中存在偏差，DiffusionPDE 的性能會受到負面影響，主要體現在以下幾個方面：

泛化能力下降： DiffusionPDE 模型可能會過擬合偏差數據，導致其在未見數據上的泛化能力下降。例如，如果訓練數據集中只包含特定類型的 PDE 解，那麼模型在處理其他類型的 PDE 解時可能會表現不佳。
预测结果偏差： DiffusionPDE 的预测结果可能会偏向训练数据中的偏差。例如，如果训练数据集中某一类型的 PDE 解的系数总是高于其他类型，那么模型在预测未知 PDE 解的系数时可能会倾向于给出更高的值。
模型稳定性问题： 数据偏差可能会导致 DiffusionPDE 模型训练不稳定，难以收敛到最优解。
为了减轻数据偏差对 DiffusionPDE 性能的影响，可以采取以下措施：

数据预处理： 在训练 DiffusionPDE 模型之前，对数据进行预处理以减少偏差。例如，可以使用数据平衡技术来增加少数类样本的数量，或者使用数据标准化技术来消除不同特征之间的量纲差异。
模型正则化： 在 DiffusionPDE 模型训练过程中，使用正则化技术来防止过拟合。例如，可以使用 L1 或 L2 正则化来约束模型参数的大小，或者使用 dropout 技术来随机丢弃一部分神经元。
偏差校正： 在 DiffusionPDE 模型预测阶段，使用偏差校正技术来调整预测结果。例如，可以使用后处理方法来调整模型输出，使其更符合真实数据的分布。
总而言之，数据偏差会对 DiffusionPDE 的性能产生负面影响。为了获得最佳性能，应该尽量使用无偏差的训练数据集，并在模型训练和预测阶段采取措施来减轻数据偏差的影响。

可以利用其他類型的生成模型來解決部分觀測下的 PDE 問題嗎？

除了 Diffusion Model，其他类型的生成模型也可以用于解决部分观测下的 PDE 问题，以下列举一些例子：

变分自编码器 (VAE)： VAE 可以学习 PDE 解的低维潜在空间表示，并从该空间中采样生成新的 PDE 解。在部分观测的情况下，VAE 可以通过将观测数据编码到潜在空间，然后从潜在空间中解码生成完整的 PDE 解。
生成对抗网络 (GAN)： GAN 可以训练一个生成器网络来生成逼真的 PDE 解，并使用一个判别器网络来区分生成的 PDE 解和真实 PDE 解。在部分观测的情况下，GAN 可以将观测数据作为生成器网络的输入，并训练生成器网络生成与观测数据一致的完整 PDE 解。
基于流的生成模型 (Flow-based Generative Model)： 基于流的生成模型可以通过一系列可逆变换将简单分布（例如高斯分布）转换为复杂分布，从而学习 PDE 解的概率分布。在部分观测的情况下，基于流的生成模型可以通过将观测数据作为条件信息，生成与观测数据一致的完整 PDE 解。
需要注意的是，每种生成模型都有其自身的优缺点，选择合适的生成模型取决于具体的 PDE 问题和应用场景。例如：

Diffusion Model 擅长生成高质量的样本，但其采样速度较慢。
VAE 的训练速度较快，但其生成的样本质量可能不如 Diffusion Model。
GAN 可以生成非常逼真的样本，但其训练过程可能不稳定。
基于流的生成模型 可以进行精确的概率推断，但其模型结构可能比较复杂。
总而言之，多种生成模型可以用于解决部分观测下的 PDE 问题。选择合适的生成模型需要综合考虑模型的生成质量、训练速度、稳定性和可解释性等因素。