核心概念
本文提出了一種基於空間和角度高斯分佈的新型表示方法,以及一個三重球面分佈過程,用於從多視點光源輸入圖像中實現實時、高質量的光照和視圖合成。
文獻資訊
Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, and Hongzhi Wu. 2024. GS3: Efficient Relighting with Triple Gaussian Splatting. In SIGGRAPH Asia 2024 Conference Papers (SA Conference Papers ’24), December 3–6, 2024, Tokyo, Japan. ACM, New York, NY, USA, 12 pages. https://doi.org/10.1145/3680528.3687576
研究目標
本研究旨在開發一種高效且高品質的方法,利用多視點光源輸入圖像,實現對複雜幾何形狀和材質的物體進行實時重新照明和視圖合成。
方法
提出了一種基於空間和角度高斯分佈的新型場景表示方法。
採用三重球面分佈過程:
第一次球面分佈:使用朗伯模型和角度高斯混合模型來描述每個空間高斯的反射率函數,以模擬複雜的材質外觀。
第二次球面分佈(陰影球面分佈):將所有空間高斯朝向光源進行球面分佈,以獲得陰影值,並使用小型多層感知器進一步優化陰影效果。
第三次球面分佈:使用另一個多層感知器為每個空間高斯計算一個 RGB 元組,以補償全局照明等其他效果。
使用端到端的可微分方式,通過最小化輸入照片與渲染結果之間的差異來優化場景表示。
主要發現
該方法能夠在 40-70 分鐘內完成訓練,並在單個消費級 GPU 上實現每秒 90 幀的渲染速度。
與現有技術相比,該方法在品質和性能方面均具有優勢。
該方法可以處理多種類型的輸入數據,包括合成/重建對象的渲染圖像、使用手持相機和閃光燈拍攝的照片,以及專業光場拍攝的照片。
主要結論
本研究提出了一種基於高斯球面分佈的新型高效重新照明方法,該方法能夠以實時幀率合成具有複雜幾何形狀和材質的物體在不同視圖和光照條件下的高質量圖像。
意義
該方法為計算機圖形學中的實時重新照明和視圖合成提供了一種高效且高品質的解決方案,並在虛擬現實、電子商務和視覺效果等領域具有廣泛的應用前景。
限制和未來研究方向
該方法目前尚未考慮透明材質的處理。
在某些光照/視圖條件下,陰影效果可能不夠清晰。
未來研究方向包括:
探索最佳的數據採集條件(例如,視圖/光照),以減少輸入圖像的數量並提高重建品質。
構建大規模數據集,以促進基於該表示方法的生成任務。
統計資料
訓練時間:40-70 分鐘
渲染速度:超過 90fps
空間高斯數量:120K-750K
基礎角度高斯數量:8
輸入圖像數量:500-2,000
輸入圖像分辨率:512² 或 1024²