從單一視角圖像中生成可泛化的三維人體高斯模型

Khái niệm cốt lõi

本文提出了一種名為 HGM 的新型可泛化單視角人體高斯重建框架，透過結合 SMPL-X 模型和擴散先驗，從單一圖像中重建出高品質且視角一致的三維人體模型，並可應用於新的人物。

Tóm tắt

書目資訊
Chen, J., Li, C., Zhang, J., Zhu, L., Huang, B., Chen, H., & Lee, G. H. (2024). Generalizable Human Gaussians from Single-View Image. arXiv preprint arXiv:2406.06050v2.
研究目標
本研究旨在解決從單一視角圖像重建高品質三維人體模型的挑戰，特別是針對未觀察區域的細節外觀和幾何形狀的恢復。
方法
研究人員提出了一種名為「人體高斯模型」（HGM）的新方法，該方法採用一種新穎的「生成-然後-優化」流程，並結合人體先驗和擴散先驗進行指導。具體來說，該方法使用 ControlNet 來優化從粗略預測的人體高斯模型渲染的後視圖圖像，然後使用優化後的圖像以及輸入圖像來重建優化後的人體高斯模型。為了減輕生成不切實際人體姿勢和形狀的可能性，研究人員引入了來自 SMPL-X 模型的人體先驗作為雙分支，使用稀疏卷積和注意力機制將圖像特徵從 SMPL-X 體積傳播到圖像高斯模型。考慮到初始 SMPL-X 估計可能不準確，研究人員使用 HGM 模型逐步優化它。
主要發現

HGM 方法在多個公開數據集上均優於先前的方法，包括新視角合成和表面重建任務。
HGM 方法在跨數據集評估和自然圖像中均表現出強大的泛化能力。
SMPL-X 模型的引入有效地解決了先前方法中常見的腿部彎曲和姿勢不正確的問題。
基於三維高斯模型的方法在渲染速度方面具有顯著優勢，與基於 NeRF 的方法相比，速度更快。
主要結論
HGM 方法提供了一種從單一視角圖像重建高品質三維人體模型的有效解決方案。透過結合人體先驗、擴散先驗和 SMPL-X 優化，該方法能夠生成具有逼真細節和視角一致性的重建結果。
意義
本研究對三維人體重建領域做出了重要貢獻，提出了一種高效且可泛化的解決方案，在虛擬和增強現實、遊戲產業和電影製作等領域具有廣泛的應用前景。
局限性和未來研究方向

目前，HGM 方法在生成高品質手部和臉部方面仍有改進空間，未來可以考慮利用 SMPL-X 模型和區域擴散引導進行進一步優化。
未來研究可以探索將 HGM 方法擴展到多人和動態場景，以滿足更廣泛的應用需求。

Thống kê

我們的模型在 4 個 NVIDIA RTX A6000 上訓練了 20 個小時，批次大小為 4。
我們的輸入圖像大小為 512×512，每個視圖的高斯模型數量為 256×256，每個視圖總共 65,536 個高斯模型。
三維高斯模型渲染速度可達 300 FPS，而基於 NeRF 的方法 SHERF 僅能達到 2 FPS。

Trích dẫn

"Our method reconstructs detailed and geometrically consistent human Gaussian models from single view images, including loosing clothes, challenging pose and in-the-wild images."
"Our approach consistently achieves state-of-the-art performance on various metrics and benchmarks."

Thông tin chi tiết chính được chắt lọc từ

Generalizable Human Gaussians from Single-View Image

by Jinnan Chen,... lúc arxiv.org 10-04-2024

https://arxiv.org/pdf/2406.06050.pdf

Yêu cầu sâu hơn

如何將 HGM 方法應用於多人場景的三維重建，例如處理人物遮擋和交互等問題？

將 HGM 方法應用於多人場景的三維重建，需要克服人物遮擋和交互帶來的挑戰。以下是一些可能的解決方案：

人物檢測與追蹤： 首先，利用目標檢測和多目標追蹤技術，在每一幀圖像中識別出不同的人物個體，並建立他們在時間序列上的對應關係。這一步驟可以幫助我們將多人場景分解成單人圖像序列，以便分別進行 HGM 重建。

遮擋處理： 對於人物遮擋問題，可以採用以下策略：

多視角融合： 利用多個視角的圖像信息，可以補全單一視角中被遮擋的人體部位。例如，可以將來自不同視角的 HGM 重建結果進行融合，以獲得更完整的 3D 人體模型。
深度估計與分割： 利用深度估計網絡預測場景深度信息，並結合語義分割技術，將不同的人物個體從場景中分離出來。這樣可以幫助我們在進行 HGM 重建時，排除其他人物的干擾。
基於學習的遮擋推斷： 訓練一個模型，學習從可見的人體部位推斷被遮擋部位的形狀和姿態。例如，可以使用圖卷積網絡 (GCN) 或 Transformer 模型來學習人體關節之間的空間關係，並根據可見關節的位置和姿態來預測被遮擋關節的信息。

交互建模： 對於人物交互場景，可以考慮以下方法：

圖形學模型約束： 利用人體骨骼模型或其他圖形學模型，對人物交互過程中的人體姿態進行約束，避免出現不合理的肢體交叉或穿透現象。
交互行為識別： 利用行為識別技術，識別人物交互的類型和階段，並根據預先定義的交互規則，調整 HGM 重建過程中的姿態估計和形狀生成。

高效的模型表示和渲染： 多人場景的三維重建需要處理大量的數據，因此需要採用高效的模型表示和渲染方法。例如，可以使用基於體素的表示方法，例如 Octree 或 Sparse Voxel Octree，來減少存儲空間和計算量。同時，可以採用基於光柵化的渲染方法，例如光線投射或光線追蹤，來實現實時的渲染效果。

總之，將 HGM 方法應用於多人場景的三維重建是一個具有挑戰性的課題，需要結合多種計算機視覺和圖形學技術才能取得理想的效果。

除了 SMPL-X 模型，是否還有其他類型的人體先驗知識可以被引入到 HGM 框架中，以進一步提升重建的準確性和魯棒性？

除了 SMPL-X 模型，還有其他類型的人體先驗知識可以被引入到 HGM 框架中，以進一步提升重建的準確性和魯棒性：

人體關節點模型： 類似於 OpenPose 或 AlphaPose 等方法預測的人體關節點，可以提供人體姿態的先驗信息。這些關節點可以作為額外的約束條件，指導 HGM 模型生成更合理的姿態和形狀。

人體部件分割模型： 利用人體部件分割模型，可以將人體圖像分割成不同的語義區域，例如頭部、軀幹、四肢等。這些分割信息可以幫助 HGM 模型更好地理解人體結構，並生成更精確的 3D 模型。

人體運動學約束： 人體運動受到骨骼結構和肌肉組織的限制，這些運動學約束可以被用來規範 HGM 模型的生成過程。例如，可以將人體關節的運動範圍作為約束條件，避免生成不符合人體運動規律的姿態。

人體形狀統計模型： 通過對大量人體數據進行統計分析，可以建立人體形狀的統計模型，例如 PCA 模型或變分自编码器 (VAE)。這些統計模型可以捕捉人體形狀的變化規律，並作為先驗信息，指導 HGM 模型生成更真實的人體形狀。

服裝模型： 對於穿著衣服的人體，可以引入服裝模型來提升重建的真實感。例如，可以使用基於物理的布料模擬方法，根據人體姿態和形狀，生成逼真的衣服褶皺和 drape 效果。

紋理模型： 除了形狀和姿態，紋理也是人體重建的重要組成部分。可以引入紋理模型，例如風格遷移網絡或紋理生成網絡，生成更真實和細緻的皮膚、頭髮和衣服紋理。

將這些先驗知識融入 HGM 框架，可以通過正則化項、約束條件或多任務學習等方式實現。例如，可以將關節點位置誤差、分割結果一致性或運動學約束違反程度作為損失函數的一部分，引導 HGM 模型生成更符合先驗知識的結果。

HGM 方法能否與其他深度學習技術（例如生成對抗網路）相結合，以實現更逼真和高解析度的三維人體重建？

是的，HGM 方法可以與其他深度學習技術，例如生成對抗網路 (GAN)，相結合，以實現更逼真和高解析度的三維人體重建。以下是一些結合 HGM 和 GAN 的思路：

使用 GAN 生成高解析度紋理： HGM 方法本身主要關注於人體的幾何形狀重建，而對於紋理細節的生成能力有限。可以訓練一個 GAN 模型，學習從低解析度的 HGM 生成結果或其他輸入信息（例如單張圖像）生成高解析度、逼真的人體紋理。

使用 GAN 提升 HGM 的生成质量： 可以将 GAN 融入到 HGM 的训练过程中，利用 GAN 的对抗训练机制来提升 HGM 模型的生成质量。例如，可以将 HGM 作为生成器，训练一个判别器来区分真实的人体模型和 HGM 生成的模型。通过对抗训练，可以促使 HGM 生成更逼真、更难以区分的人体模型。

使用 GAN 生成多樣化的 HGM 結果： GAN 模型擅长于生成具有多样性的样本。可以训练一个以 HGM 模型参数为输入的 GAN 模型，通过在 GAN 的潜在空间中进行插值或采样，生成多样的 HGM 模型，从而实现对不同体型、姿态和服饰的人体的重建。

使用 GAN 进行三维人体重建的端到端学习： 可以将 HGM 模型作为 GAN 模型中的一个模块，构建一个端到端的三维人体重建网络。例如，可以使用 GAN 模型将单张图像映射到 HGM 模型的参数空间，并使用 HGM 模型生成最终的三维人体模型。

以下是一些具体的结合 HGM 和 GAN 的研究方向：

高解析度纹理生成： 可以使用 Pix2PixHD 或 StyleGAN2-ADA 等高解析度图像生成 GAN 模型，学习从 HGM 生成的低解析度模型或单张图像生成高解析度的人体纹理。
三维形状细节增强： 可以使用 PointFlow 或 SR-GAN 等点云或三维模型超分辨率 GAN 模型，对 HGM 生成的三维模型进行细节增强，生成更精细、更逼真的人体模型。
多视角一致性约束： 可以使用多判别器 GAN 模型，例如 StarGAN 或 CycleGAN，将多视角一致性约束融入到 HGM 的训练过程中，生成在不同视角下都保持一致性的人体模型。
总而言之，将 HGM 与 GAN 等其他深度学习技术相结合，可以充分发挥各自的优势，实现更逼真、更高解析度的三维人体重建，并推动该领域技术的进一步发展。