適用於嵌入式設備的實時多目標追蹤系統：HopTrack

核心概念

HopTrack 是一個專為嵌入式設備設計的實時多目標追蹤系統，它採用動態幀採樣和創新的關聯方法，在資源受限的設備上實現了高精度和實時性能。

摘要

HopTrack: 適用於嵌入式設備的實時多目標追蹤系統

這篇研究論文介紹了 HopTrack，這是一個專為嵌入式設備設計的實時多目標追蹤系統。由於嵌入式設備的計算能力和内存資源有限，在這些設備上運行多目標追蹤系統一直是一個挑戰。現有的多目標追蹤方法主要依賴於高性能 GPU，在嵌入式設備上運行時會遇到處理速度慢、準確性低的問題。

HopTrack 通過以下三個創新點解決了這些問題：

動態偵測幀採樣

不同於現有方法以固定速率或基於關鍵幀採樣視訊幀，HopTrack 根據視訊內容特徵（例如，具有大量目標和遮擋的複雜場景）動態調整採樣率。當場景變得擁擠且包含更多目標時，HopTrack 會提高採樣率以更準確地估計每個目標的運動狀態；當場景較簡單時，HopTrack 會降低採樣率以節省計算資源。

兩階段資料關聯演算法

HopTrack 採用一種新穎的兩階段資料關聯方法來提高關聯率。Hop Fuse 演算法在有新的偵測結果時執行，而 Hop Update 則在每個跳躍幀上執行。Hop Fuse 首先使用較高的 IoU 閾值關聯靜止或移動緩慢的目標，然後使用較低的 IoU 閾值關聯移動較快的目標。對於剩餘的未匹配目標，HopTrack 使用基於軌跡的資料關聯和基於淺層特徵的離散靜態和動態匹配來進行關聯。Hop Update 則結合了外觀追蹤器（MedianFlow）和運動追蹤器（卡爾曼濾波器）的優點，以提高追蹤精度。

基於軌跡的資料關聯和離散匹配

為了進一步提高資料關聯的準確性，HopTrack 提出了一種基於軌跡的資料關聯方法。與現有的基於 JDE 的方法不同，HopTrack 不會提取深度特徵向量，而是根據目標的卡爾曼濾波器狀態計算其預測軌跡。然後，HopTrack 將未匹配的偵測結果投影到預測軌跡上，並對靠近軌跡的偵測結果執行離散靜態匹配。

HopTrack 使用基於淺層特徵的離散靜態和動態匹配來關聯跨越多個幀且具有較大幀間位移的目標，並抑制不準確的軌跡。靜態匹配在偵測幀上與 Hop Fuse 一起執行，而動態匹配在每個跳躍幀上與 Hop Update 一起執行。

實驗結果表明，HopTrack 在多個資料集（MOT16、MOT17、MOT20、KITTI）上均取得了最先進的精度，同時保持了實時處理速度。此外，HopTrack 還具有低功耗、小内存佔用和資源效率高的優點，非常適合在嵌入式設備上運行。

統計資料

HopTrack(Acc) 在 MOT16 測試資料集上達到了 63.12% 的 MOTA 分數，超過最佳基準 Byte(Embed) 2.15%。
在 IDF1 指標方面，HopTrack(Full) 比最佳基準高出 2.45%，在 HOTA 指標方面，我們比最佳基準高出 1.65%。
在 MOT16-14 序列（從移動的公車上拍攝）中，HopTrack(Full) 的 MOTA、IDF1 和 HOTA 分別比 Byte(Embed) 高出 7.12%、4.01% 和 3.91%，並將身分切換減少了 14.5%。
與平均目標密度為 30.8 個目標/幀、峰值為 69.7 個目標/幀的 MOT16 和 MOT17 相比，MOT20 資料集更具挑戰性，其平均目標密度為 170.9 個目標/幀，峰值為 205.9 個目標/幀。

引述

從以下內容提煉的關鍵洞見

HopTrack: A Real-time Multi-Object Tracking System for Embedded Devices

by Xiang Li, Ch... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00608.pdf

深入探究

在更具挑戰性的場景下，例如光照變化劇烈、目標遮擋嚴重的情況下，HopTrack 的性能如何？

HopTrack 在光照變化劇烈和目標遮擋嚴重的場景下，其性能表現會受到一定影響，但相較於其他基線模型，HopTrack 仍展現出更強的魯棒性。
針對光照變化劇烈的情況：

HopTrack 的動態幀採樣策略有助於在光線變化時更頻繁地執行目標檢測，從而降低因光線變化導致的目標丢失率。
HopTrack 的靜態和動態匹配算法利用了目標的外觀特徵，例如像素強度分佈，這些特徵在一定程度上對光照變化不敏感，有助於維持目標的識別和追蹤。
針對目標遮擋嚴重的情況：

HopTrack 的軌跡預測和基於軌跡的資料關聯方法能夠在目標被遮擋後，根據其歷史軌跡預測其位置，並在目標重新出現時準確地與之關聯，有效減少目標身份切換（IDSW）。
HopTrack 的動態匹配算法能夠在目標被遮擋時，智能地抑制其軌跡，避免錯誤的關聯，並在目標重新出現時恢復其軌跡。
然而，在極端的光照變化或長時間遮擋的情況下，HopTrack 的性能仍可能下降。未來可以考慮結合更魯棒的目標檢測算法和更高級的遮擋處理策略來進一步提升 HopTrack 在這些挑戰場景下的性能。

如果嵌入式設備的計算資源更加受限，例如内存更小、處理器性能更低，HopTrack 是否仍然可以調整以保持實時性能和高精度？

在計算資源更受限的嵌入式設備上，HopTrack 可以通過調整模型和算法參數來保持實時性能和高精度，但需要在兩者之間進行權衡。
保持實時性能：

降低動態幀採樣頻率： 可以通過降低動態幀採樣頻率來減少目標檢測的執行次數，從而降低計算量和内存佔用。
簡化靜態和動態匹配算法： 可以通過減少圖像單元格的數量或使用更簡單的距離度量來簡化靜態和動態匹配算法，從而降低計算複雜度。
模型量化和剪枝： 可以對目標檢測模型和特徵提取模型進行量化和剪枝，以減小模型大小和計算量，同時盡可能保留模型精度。
保持高精度：

優化資料關聯算法： 可以探索更輕量級但仍然準確的資料關聯算法，例如基於匈牙利算法的改進算法，以在保持精度的同時降低計算量。
利用時間信息： 可以考慮在資料關聯過程中更多地利用時間信息，例如目標的速度和方向，以提高關聯的準確性。
總之，在資源受限的設備上部署 HopTrack 需要根據具體的硬件資源和應用需求對模型和算法進行適當的調整和優化，以在實時性能和高精度之間取得最佳平衡。

HopTrack 的動態幀採樣和資料關聯方法是否可以應用於其他計算機視覺任務，例如目標檢測、動作識別等？

是的，HopTrack 的動態幀採樣和資料關聯方法可以應用於其他計算機視覺任務，並具有潛在的優勢：
動態幀採樣：

目標檢測： 對於視頻目標檢測任務，可以根據場景的複雜程度動態調整檢測幀率。例如，在目標較少或運動緩慢的場景中降低幀率，而在目標密集或運動劇烈的場景中提高幀率，從而優化計算資源分配，提高效率。
動作識別： 可以根據動作的複雜程度和速度動態調整採樣幀率。例如，對於簡單或緩慢的動作，可以使用較低的幀率，而對於複雜或快速的動作，則需要更高的幀率以捕捉關鍵動作細節。
資料關聯：

目標檢測： 可以將 HopTrack 的資料關聯方法應用於多目標檢測任務中的邊界框關聯，特別是在處理目標遮擋和重疊的情況下，提高檢測結果的穩定性和準確性。
動作識別： 可以將 HopTrack 的資料關聯方法應用於動作識別任務中的時序動作分割和關聯，例如將屬於同一個動作的不同階段的動作片段準確地關聯起來，提高動作識別的準確性和完整性。
總之，HopTrack 的動態幀採樣和資料關聯方法為其他計算機視覺任務提供了新的思路和解決方案，特別是在處理視頻數據和時序信息方面具有潛在的優勢。