自動搜尋適合於熱紅外線行人追蹤的輕量級網路架構

核心概念

本文提出一種自動搜尋適合於熱紅外線行人追蹤任務的輕量級網路架構的方法。該方法採用單底層和雙底層單元作為基本搜尋單元,並在搜尋空間中包含8種操作候選。為了加快搜尋過程,我們採用隨機通道選擇策略來評估操作候選。在重新訓練階段,我們結合分類損失、批量困難三元組損失和中心損失來學習更具辨別性的特徵。大量實驗證明了該自動化方法的有效性。

摘要

本文提出了一種自動搜尋適合於熱紅外線行人追蹤(TIR-PT)任務的輕量級網路架構的方法。

搜尋過程:

1. 採用單底層和雙底層單元作為基本搜尋單元,並在搜尋空間中包含8種操作候選。
2. 為了加快搜尋過程,使用隨機通道選擇策略來評估操作候選,而不是計算所有通道。

重新訓練階段:

1. 結合分類損失、批量困難三元組損失和中心損失來學習更具辨別性的特徵。
2. 分類損失用於保持行人身份並將前景與背景分開。
3. 批量困難三元組損失用於縮小同類特徵的距離,增大異類特徵的距離。
4. 中心損失用於最小化同類特徵的內部距離。

實驗結果表明,該自動化方法在LSOTB-TIR和PTB-TIR基準數據集上均取得了優秀的性能,優於現有的手工設計的網路架構。

統計資料

在LSOTB-TIR基準數據集上,我們的方法的精確度、成功率和標準化精確度分別達到0.805、0.669和0.720,相比基線方法DiMP分別提高了2.5%、5.3%和1.7%。
在PTB-TIR基準數據集上,我們的方法的成功率達到0.643,優於DiMP 2.7%。

引述

"本文提出一種自動搜尋適合於熱紅外線行人追蹤任務的輕量級網路架構的方法。"
"為了加快搜尋過程,我們採用隨機通道選擇策略來評估操作候選,而不是計算所有通道。"
"我們結合分類損失、批量困難三元組損失和中心損失來學習更具辨別性的特徵。"

從以下內容提煉的關鍵洞見

Searching a Lightweight Network Architecture for Thermal Infrared Pedestrian Tracking

by Wen-Jia Tang... 於 arxiv.org 10-01-2024

https://arxiv.org/pdf/2402.16570.pdf

深入探究

熱紅外線行人追蹤任務中,除了網路架構搜尋,還有哪些其他的關鍵技術值得探索?

在熱紅外線行人追蹤（TIR-PT）任務中，除了網路架構搜尋（NAS）之外，還有幾個關鍵技術值得深入探索。首先，特徵提取技術是至關重要的，因為熱紅外影像的特徵與可見光影像有顯著差異。使用深度學習模型來提取更具辨識性的特徵，能夠提高追蹤的準確性。其次，多模態融合技術可以結合熱紅外影像與可見光影像，利用兩者的互補性來增強追蹤性能。此外，強化學習和**生成對抗網絡（GAN）**也可以用於模擬不同的環境條件，從而提高模型的魯棒性。最後，數據增強技術，如隨機遮擋、旋轉和縮放等，能夠幫助模型在訓練過程中學習到更多的變化，進一步提升其在實際應用中的表現。

如何進一步提高熱紅外線行人追蹤在嚴重遮擋和外觀相似干擾物情況下的性能?

為了提高熱紅外線行人追蹤在嚴重遮擋和外觀相似干擾物情況下的性能，可以採取幾種策略。首先，增強模型的上下文感知能力，通過引入空間-時間記憶網絡來捕捉行人運動的時間序列信息，這樣即使在遮擋情況下，模型也能根據過去的運動模式進行預測。其次，使用多任務學習，同時訓練行人識別和行為預測，這樣可以提高模型對行人身份的辨識能力，減少因外觀相似而造成的混淆。此外，強化學習可以用於動態調整追蹤策略，根據環境變化自適應地選擇最佳的追蹤路徑。最後，集成學習方法可以結合多個模型的預測結果，通過投票或加權平均的方式來提高最終的追蹤準確性。

熱紅外線行人追蹤技術在哪些其他領域或應用中可能產生重要影響?

熱紅外線行人追蹤技術在多個領域和應用中具有重要影響。首先，在公共安全和監控領域，該技術可以用於夜間或低能見度環境下的行人監控，增強城市安全管理。其次，在自動駕駛技術中，熱紅外線行人追蹤可以幫助車輛在複雜的交通環境中識別和預測行人的行為，從而提高行車安全。此外，在搜索和救援任務中，熱紅外線技術能夠在煙霧、霧霾或夜間等困難條件下定位被困者，提升救援效率。最後，在醫療影像分析中，熱紅外線技術可以用於監測病人的生理狀態，提供更精確的健康評估。這些應用展示了熱紅外線行人追蹤技術的廣泛潛力和重要性。