從單次散斑偏折術的密集 3D 表面重建實現精確的眼動追踪

核心概念

本文提出了一種基於單次散斑偏折術的新型眼動追踪方法，該方法利用眼睛表面的密集 3D 信息（形狀和法線）來估計注視方向，並在真實眼睛模型和真人眼睛實驗中展現出高精度和準確性。

摘要

研究目標
本研究旨在開發一種新型眼動追踪方法，利用單次散斑偏折術獲取的密集 3D 表面信息，實現對注視方向的精確估計。
方法
研究人員搭建了一套基於單次立體散斑偏折術的原型系統，並開發了一種新的校準方法，以確保測量結果的準確性。該系統利用顯示屏上的交叉正弦條紋圖案，並通過兩個相機觀察其在眼睛表面的反射，從而獲取眼睛表面的形狀和法線信息。
為了克服傳統散斑偏折術重建方法在眼動追踪應用中的局限性，研究人員提出了一種新的重建算法。該算法首先基於雙球面假設，利用立體視覺原理重建部分眼睛表面的形狀和法線信息，並估計角膜和鞏膜的球心和半徑。然後，利用估計的球面模型擴展測量範圍，並通過迭代優化算法進一步精確重建整個眼睛表面的形狀和法線信息。最後，通過分析重建的表面法線，估計眼睛的光軸，並結合預先校準的視軸與光軸之間的夾角，計算出注視方向。
主要發現

該方法在真實眼睛模型上的實驗結果顯示，平均相對注視誤差在 0.03° 到 0.12° 之間，平均精度在 0.02° 到 0.08° 之間，優於現有的眼動追踪技術。
在真人眼睛上的實驗結果顯示，注視精度在 0.46° 到 0.97° 之間，平均精度在 0.07° 到 0.59° 之間，與現有最佳方法的精度相當或更优。
實驗結果驗證了該方法的精度和準確性會隨著採集到的表面點數量的增加而提高。
主要結論
基於單次散斑偏折術的密集 3D 表面重建為眼動追踪提供了一種新的思路，該方法快速、準確、精確，有望為虛擬實境、臨床診斷和心理學研究等領域帶來新的進展。
意義
本研究提出了一種基於單次散斑偏折術的新型眼動追踪方法，該方法利用眼睛表面的密集 3D 信息，克服了傳統方法的局限性，在實驗中展現出高精度和準確性，為眼動追踪技術的發展提供了新的方向。
局限性和未來研究方向

本研究的樣本量較小，需要進一步擴大樣本量以驗證方法的可靠性。
未來的研究可以探索更精確的視軸校準方法，以進一步提高注視方向估計的精度。
可以進一步優化算法，提高計算效率，以滿足實時眼動追踪的需求。

統計資料

該方法在真實眼睛模型上的實驗結果顯示，平均相對注視誤差在 0.03° 到 0.12° 之間，平均精度在 0.02° 到 0.08° 之間。
在真人眼睛上的實驗結果顯示，注視精度在 0.46° 到 0.97° 之間，平均精度在 0.07° 到 0.59° 之間。
原型系統使用了兩個配備 9 毫米鏡頭的機器視覺相機和一個 iPhone 12 Pro 顯示屏（分辨率為 2532 × 1170 像素）。
在每次測量中，系統平均可以捕捉到 42,673 個表面點及其對應的表面法線。

從以下內容提煉的關鍵洞見

Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry

by Jiazhang Wan... 於 arxiv.org 11-21-2024

https://arxiv.org/pdf/2308.07298.pdf

深入探究

未來如何將這種高精度眼動追踪技術應用於實際產品，例如虛擬實境頭戴式顯示器或輔助醫療設備？

這種基於密集 3D 表面重建的高精度眼動追踪技術在未來有著廣泛的應用前景，尤其是在虛擬實境頭戴式顯示器和輔助醫療設備領域：
虛擬實境頭戴式顯示器 (VR HMD)

注視點渲染 (Foveated Rendering): 高精度眼動追踪可以精確確定用户的注視點，從而只渲染視場中心區域的高分辨率圖像，而周邊區域則以較低分辨率渲染。這將大大降低 VR HMD 的計算負擔，提高渲染效率和幀率，提供更流畅、更逼真的 VR 体验。
深度感知和交互: 通過精確追踪眼球運動，可以更準確地判斷用户的視線方向和焦點，從而實現更自然的深度感知效果，並開發更精確、更直观的 VR 交互方式，例如通過視線選擇菜單、控制虛擬角色等。
眼球追踪分析: 高精度眼動追踪可以收集用户的眼球運動數據，用于分析用户的注意力、認知和情緒狀態，為 VR 遊戲、教育和培訓等應用提供更豐富的數據支持。
輔助醫療設備

眼疾診斷: 高精度眼動追踪可以捕捉到細微的眼球運動異常，為眼科醫生提供更精確的診斷依據，例如早期青光眼、視網膜病變等。
視力輔助: 對於患有嚴重視力障礙的患者，高精度眼動追踪可以結合眼控技術，幫助他們通過眼球運動控制電腦、輪椅等設備，提高生活質量。
手術導航: 在眼科手術中，高精度眼動追踪可以實时追踪眼球的微小運動，為醫生提供更精確的手術導航，提高手術的安全性 和 精確度。
實現這些應用需要克服以下挑戰：

小型化和集成化: 將高精度眼動追踪系統集成到 VR HMD 或其他小型化設備中，需要進一步縮小系統體積、降低功耗。
成本控制: 高精度眼動追踪系統的成本仍然较高，需要進一步降低成本以推廣應用。
數據處理和分析: 高精度眼動追踪系統會產生大量的數據，需要開發高效的數據處理和分析算法，才能有效利用這些數據。

如果眼球的旋轉對稱性被打破，例如由於眼疾或眼部手術，該方法的準確性會受到怎樣的影響？

如果眼球的旋轉對稱性被打破，該方法的準確性會受到一定程度的影響，因為該方法的核心是基於眼球的旋轉對稱性來估計視線方向的。
具體影響如下：

光軸估計偏差: 當眼球不再是旋轉對稱時，回溯的表面法線將不再精確地相交於光軸上，導致光軸估計出現偏差。
視線方向計算誤差: 光軸估計偏差會直接影響到視線方向的計算，導致眼動追踪的準確性下降。
解決方案：

引入非旋轉對稱模型: 可以嘗試建立更複雜的眼球模型，例如椭球模型或更通用的自由曲面模型，以更好地擬合非旋轉對稱的眼球形狀。
結合其他眼部特征: 可以結合瞳孔中心、虹膜纹理等其他眼部特征信息，對光軸估計進行校正，提高眼動追踪的準確性。
個性化校準: 可以針對每個用户進行個性化的校準，以補償眼球非旋轉對稱性帶來的誤差。
影響程度:
眼球非旋轉對稱性對眼動追踪準確性的影響程度取决于眼球形狀變化的程度。對於輕微的形狀變化，例如早期圆锥角膜，該方法仍然可以提供一定的準確性。但對於嚴重的形狀變化，例如眼部手術後，則需要採用更複雜的算法和校準方法來保證眼動追踪的準確性。

除了眼動追踪，這種基於密集 3D 表面重建的技術還可以用於哪些其他生物醫學領域？

除了眼動追踪，這種基於密集 3D 表面重建的技術在其他生物醫學領域也具有廣泛的應用前景，例如：
1. 人體表面測量和分析:

皮膚病診斷: 可以高精度地重建皮膚表面，幫助醫生診斷和評估皮膚病的嚴重程度，例如濕疹、牛皮癬等。
傷口癒合監測: 可以定量分析傷口的大小、深度和形狀變化，監測傷口癒合情況。
整形外科手術規劃: 可以建立患者面部或身體其他部位的精確 3D 模型，輔助醫生進行手術規劃。
2. 口腔醫學:

牙齒模型重建: 可以快速、精確地重建牙齒模型，用于製作牙冠、牙橋等修復體。
正畸治療評估: 可以追踪牙齒移動情況，評估正畸治療效果。
3. 其他醫學影像分析:

內窥鏡影像三維重建: 可以將傳統的二維內窥鏡影像轉換為三維模型，幫助醫生更直观地觀察病變情況。
超聲影像三維重建: 可以將二維超聲影像轉換為三維模型，提高診斷的準確性和可靠性。
4. 生物力學研究:

關節運動分析: 可以精確追踪關節的運動軌跡，分析關節的運動學和動力學特征。
肌肉活動分析: 可以通過測量肌肉形狀的變化，分析肌肉的活動情況。
總之，這種基於密集 3D 表面重建的技術在生物醫學領域有著巨大的應用潛力，可以為疾病診斷、治療評估、手術規劃、生物力學研究等方面提供更精確、更直观的數據支持。