實用的三鏡頭視線追蹤系統 - Tri-Cam

Kernekoncepter

Tri-Cam是一個實用的深度學習視線追蹤系統,使用三個廉價的RGB網絡攝像機。它採用分割網絡結構來有效處理攝像機-眼睛幾何和眼睛-屏幕幾何,並設計了一種內部驗證機制來增強追蹤精度。Tri-Cam還配備了一個隱式校準模塊,利用鼠標點擊機會減少用戶的校準負擔。

Resumé

本文介紹了Tri-Cam,一個實用的基於深度學習的視線追蹤系統,使用三個廉價的RGB網絡攝像機。

首先,作者分析並將視線追蹤任務分為攝像機-眼睛幾何和眼睛-屏幕幾何兩部分。相應地,他們設計了一個分割的神經網絡結構來分別處理這兩個部分。

對於攝像機-眼睛幾何,作者提出了一種新的內部驗證機制,利用攝像機之間的幾何關係來增強追蹤精度。

對於眼睛-屏幕幾何,作者設計了一種加權融合策略,以提高對圖像質量波動的鲁棒性。

為了減少重新校準(重新訓練)的開銷,作者開發了一個低成本的隱式數據收集模塊,利用鼠標點擊機會。基於對日常電腦使用的觀察,他們建立了三個標準來過濾和改善隱式收集的數據樣本。

最後,作者收集了21名用戶的自由移動視線數據,並進行了廣泛的實驗,將Tri-Cam與最先進的商業眼球追蹤器Tobii Pro Spark進行了比較。實驗結果表明,Tri-Cam在支持更大自由移動範圍的同時,達到了與Tobii相近的追蹤精度。

Statistik

在距離顯示器50cm的情況下,Tri-Cam的平均視線推斷誤差為2.06cm,接近Tobii眼球追蹤器的1.95cm誤差。
Tri-Cam支持更大範圍的自由移動。

Citater

"Tri-Cam是一個實用的深度學習視線追蹤系統,使用三個廉價的RGB網絡攝像機。"
"Tri-Cam採用分割網絡結構來有效處理攝像機-眼睛幾何和眼睛-屏幕幾何,並設計了一種內部驗證機制來增強追蹤精度。"
"Tri-Cam還配備了一個隱式校準模塊,利用鼠標點擊機會減少用戶的校準負擔。"

Vigtigste indsigter udtrukket fra

Tri-Cam: Practical Eye Gaze Tracking via Camera Network

by Sikai Yang kl. arxiv.org 10-01-2024

https://arxiv.org/pdf/2409.19554.pdf

Dybere Forespørgsler

Tri-Cam的性能是否能在更大的自由移動範圍內保持穩定?

Tri-Cam的設計旨在支持用戶在較大的自由移動範圍內進行眼動追蹤。透過使用三個非深度RGB網絡攝像頭，Tri-Cam能夠有效地捕捉用戶的眼部影像，並利用幾何關係來推斷深度信息。這種三攝像頭的配置使得系統在用戶移動時，仍能保持穩定的性能，因為即使一個攝像頭無法捕捉到用戶的眼睛，其他兩個攝像頭仍然可以提供足夠的信息來進行準確的眼動推斷。實驗結果顯示，Tri-Cam在50厘米的距離下，平均眼動推斷誤差為2.06厘米，這與商業級的Tobii Pro Spark眼動追蹤器的1.95厘米誤差相當，顯示出Tri-Cam在自由移動範圍內的穩定性和準確性。

Tri-Cam的隱式校準模塊是否可以進一步優化,以減少用戶的參與度?

Tri-Cam的隱式校準模塊已經設計為利用用戶在日常電腦使用過程中的鼠標點擊機會來收集對齊的數據，從而減少用戶的主動參與。然而，這一模塊仍有進一步優化的空間。例如，可以引入更智能的算法來分析用戶的行為模式，進一步篩選和過濾數據，以提高數據的質量和準確性。此外，通過結合機器學習技術，系統可以自動調整和優化校準過程，根據用戶的使用習慣和環境變化進行自我學習，從而進一步減少用戶的參與度，提升整體的使用體驗。

Tri-Cam的技術是否可以應用於其他視覺交互任務,如手勢識別或動作追蹤?

Tri-Cam的技術架構和深度學習模型不僅限於眼動追蹤，還可以擴展應用於其他視覺交互任務，如手勢識別和動作追蹤。其核心思想是利用多個攝像頭來捕捉用戶的動作，並通過幾何關係來推斷深度信息，這一方法同樣適用於手勢和動作的識別。通過對手部或身體的影像進行分析，Tri-Cam可以實現對用戶手勢的準確識別，並進一步應用於虛擬現實、增強現實等領域的交互系統中。因此，Tri-Cam的技術具有廣泛的應用潛力，能夠促進更自然和直觀的人機交互。