多鏡頭物體追蹤轉換器 (Multi Camera Tracking Transformer, MCTR)

核心概念

本文提出了一種名為多鏡頭物體追蹤轉換器 (MCTR) 的新方法,利用端到端的架構來跨多個鏡頭追蹤多個物體。MCTR 建立在像 DETR 這樣的端到端物體檢測模型之上,增加了跟蹤模組和關聯模組,以實現跨鏡頭的物體追蹤。

摘要

本文提出了一種名為多鏡頭物體追蹤轉換器 (MCTR) 的新方法,用於跨多個鏡頭追蹤多個物體。MCTR 建立在像 DETR 這樣的端到端物體檢測模型之上,增加了以下兩個新組件:

跟蹤模組:維護一組跟蹤嵌入,並使用來自各個鏡頭檢測嵌入的信息來更新它們。這些跟蹤嵌入包含了跨鏡頭和時間的物體全局信息。

關聯模組:基於檢測嵌入和跟蹤嵌入之間的信息,生成檢測與跟蹤之間的概率關聯。

MCTR 採用端到端的架構,減少了對啟發式組件的依賴,將整個追蹤過程整合到一個連貫的、數據驅動的框架中。
為了維持跨鏡頭和時間的物體身份一致性,MCTR 使用了一種新的損失函數,計算檢測屬於同一個物體跟蹤的概率,並用於端到端的模型訓練。
實驗結果表明,MCTR 在 MMPTrack 和 AI City Challenge 數據集上優於單鏡頭端到端追蹤方法,並展示了其在處理遮擋等複雜情況下的優勢。此外,MCTR 還能夠利用跟蹤嵌入預測被遮擋物體的位置,進一步提高了性能。

統計資料

在工業環境中,MCTR 的 HOTA 得分為 71.81，IDF1 得分為 80.21。
在零售環境中,MCTR 的 HOTA 得分為 54.28，IDF1 得分為 52.41。使用跟蹤嵌入預測被遮擋物體的位置後,HOTA 得分提高到 88.73。

引述

"MCTR 建立在像 DETR 這樣的端到端物體檢測模型之上,增加了跟蹤模組和關聯模組,以實現跨鏡頭的物體追蹤。"
"為了維持跨鏡頭和時間的物體身份一致性,MCTR 使用了一種新的損失函數,計算檢測屬於同一個物體跟蹤的概率,並用於端到端的模型訓練。"

從以下內容提煉的關鍵洞見

MCTR: Multi Camera Tracking Transformer

by Alexandru Ni... 於 arxiv.org 09-12-2024

https://arxiv.org/pdf/2408.13243.pdf

深入探究

跟蹤模組中的自注意力機制如何幫助維持物體身份的一致性?

在MCTR的跟蹤模組中，自注意力機制的引入對於維持物體身份的一致性至關重要。自注意力機制允許模型在更新跟蹤嵌入時，考慮到所有跟蹤嵌入之間的相互關係。具體來說，當一個跟蹤查詢強烈地“聲稱”某個特定身份時，其他跟蹤查詢可以通過自注意力機制觀察到這一點，從而被鼓勵不要聲稱相同的身份。這種競爭性學習的過程有助於減少身份混淆，並促進在不同相機視角和時間步之間保持一致的物體身份。此外，這種自注意力的設計使得模型能夠在多視角的情境下，根據不同視角的檢測信息動態調整跟蹤嵌入，進一步增強了物體身份的一致性。

如何進一步改進MCTR,以提高長期追蹤性能?

為了進一步改進MCTR以提高長期追蹤性能，可以考慮以下幾個方向。首先，增強模型對於時間序列信息的整合能力是關鍵。當前的MCTR模型主要依賴於當前和前一幀的信息，這可能限制了其對於長期運動模式的捕捉。引入更長的時間窗口或使用遞歸神經網絡（RNN）或長短期記憶（LSTM）網絡來處理時間序列數據，可能會改善對於物體運動的預測能力。其次，增強對於遮擋情況的處理能力也是一個重要的改進方向。可以考慮使用更複雜的場景建模技術，例如基於圖的模型，來捕捉物體之間的關係和相互作用，從而提高在複雜環境中的追蹤穩定性。最後，擴展訓練數據集的多樣性，特別是在不同環境和光照條件下的數據，將有助於提高模型的泛化能力，進而提升長期追蹤的性能。

MCTR的架構是否可以推廣到其他多感知器融合的任務,如多視角3D物體檢測和追蹤?

MCTR的架構具有良好的可擴展性，理論上可以推廣到其他多感知器融合的任務，例如多視角3D物體檢測和追蹤。MCTR的核心思想是利用獨立的檢測和跟蹤嵌入，並通過概率關聯來維持物體身份的一致性，這一框架可以適應不同的感知器配置。對於3D物體檢測，MCTR可以通過整合來自不同視角的2D檢測結果，並利用3D幾何信息來進行更準確的物體定位和識別。此外，MCTR的自注意力機制和跟蹤模組可以進一步調整，以處理3D空間中的物體運動和交互。這樣的擴展不僅能夠提高多視角3D物體檢測的準確性，還能增強在複雜場景中的物體追蹤能力。因此，MCTR的架構在多感知器融合任務中具有廣泛的應用潛力。