開放集物體偵測：邁向統一的問題表述和基準測試

核心概念

這篇文章旨在解決開放集物體偵測（OSOD）領域中缺乏統一基準測試和明確問題定義的問題，並提出新的基準測試和評估指標，以及基於偽標籤的改進方法，以促進更一致和有意義的OSOD 方法評估。

摘要

論文資訊

• 標題：開放集物體偵測：邁向統一的問題表述和基準測試
• 作者：Hejer Ammar, Nikita Kiselov, Guillaume Lapouge, and Romaric Audigier
• 機構：Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France

研究目標

本研究旨在解決開放集物體偵測（OSOD）領域中存在的兩個主要問題：缺乏統一的基準測試和對未知物體定義不明確。這些問題阻礙了對不同 OSOD 方法進行一致且有意義的比較。

方法

• 統一基準測試：
  • 結合 Pascal-VOC 和 MS-COCO 數據集，建立統一的基準測試和測試集分割方法。
  • 將評估分為三個獨立的測試集：僅包含已知物體的 Dtest,ID、僅包含未知物體的 Dtest,OOD，以及包含已知和未知物體的 Dtest,all。
• OpenImagesRoad 數據集：
  • 提出一個新的、更豐富的基準測試數據集 OpenImagesRoad，該數據集源自 OpenImages 數據集，並使用 BigDetection 標註和層次結構。
  • OpenImagesRoad 僅包含道路圖像，並利用層次化方法定義未知物體，將每個超類別分為已知和未知類別。
• 評估指標：
  • 提出新的評估指標，以更全面地評估 OSOD 方法的性能。
  • 除了 APunk 之外，還提出了 APall 和 APsc，分別用於評估類別無關的平均精度和基於超類別層次結構的平均精度。
• 改進的偽標籤方法：
  • 提出 OW-DETR+ 和 OW-DETR++，利用自監督視覺轉換器 DINOv2 的功能來改進最先進的偽標籤方法 OW-DETR。
  • OW-DETR+ 使用 DINOv2 的激活圖進行偽標籤，而 OW-DETR++ 則進一步採用聚類和過濾技術來優化偽標籤過程。

主要發現

• 不同的 OSOD 方法在已知和未知物體檢測方面表現出不同的優缺點。
• 偽標籤方法（如 OW-DETR++）在已知物體檢測和物體定位方面表現出色，而對比學習方法（如 OpenDet）在正確檢測和分類未知物體方面更勝一籌。
• 方法的性能受學習場景的影響，偽標籤方法在已知物體在訓練期間可能出現的未標記場景中表現更好。

結論

本研究為 OSOD 領域提供了寶貴的貢獻，包括新的基準測試、評估指標和改進的偽標籤方法。這些貢獻將促進更一致和有意義的 OSOD 方法評估，並為未來的研究提供有價值的見解。

統計資料

VOC 訓練集包含 14K 張圖像，共 20 個類別。
COCO 數據集包含與 VOC 相同的 20 個類別，以及額外的 60 個非 VOC 類別。
OpenImagesRoad 數據集包含 228,153 張圖像和 1,120,348 個物體。
OpenImagesRoad 數據集中，最頻繁的 50% 類別（至少包含 60 個實例）被視為已知類別，其餘類別則為未知類別。
OW-DETR++ 使用 ViT-S/14 DINOv2 預訓練模型進行偽標籤提取。
ResNet-50 和 ViT-S/14 的參數數量分別為 23M 和 22M。

引述

"In real-world applications where confidence is key, like autonomous driving, the accurate detection and appropriate handling of classes differing from those used during training are crucial."
"This study provides a clear problem definition, ensures consistent evaluations, and draws new conclusions about the effectiveness of OSOD strategies."
"These well-defined benchmarks, scenarios, baselines and problem characterisations should provide clearer and fair settings for analysing outcomes of future OSOD works."

從以下內容提煉的關鍵洞見

Open-set object detection: towards unified problem formulation and benchmarking

by Hejer Ammar,... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05564.pdf

深入探究

隨著自駕車技術的進步，未來是否需要更精細的未知物體分類，而不仅仅是簡單地將其識別為「未知」？

毫無疑問，隨著自駕車技術的進步，未來需要更精細的未知物體分類，而不仅仅是簡單地將其識別為「未知」。

安全考量: 自駕車需要對周圍環境做出實時且安全的決策。簡單地將物體標記為「未知」並不足以做出明智的判斷。例如，一個「未知」物體可能是路邊的垃圾桶，也可能是突然衝出的兒童。
行為預測: 更精細的分類有助於自駕系統預測未知物體的行為。例如，將一個物體識別為「動物」比僅僅識別為「未知」更有助於系統預測其運動軌跡，從而採取更安全的駕駛策略。
人機交互: 更精細的未知物體分類有助於提升人機交互體驗。例如，系統可以提示駕駛員：「前方發現一個未知物體，疑似動物，請注意安全。」
然而，實現更精細的未知物體分類也面臨著諸多挑戰：

未知的定義: 如何定義和界定「未知」本身就是一個難題。
數據獲取: 收集和標註大量未知物體的數據成本高昂且耗時。
模型泛化: 如何訓練出能夠泛化到各種未知物體的模型是一個巨大的挑戰。
為了解決這些挑戰，未來可以嘗試以下研究方向：

開放世界目標檢測 (OWOD): OWOD 方法旨在讓模型在遇到新類別時能夠不斷學習和更新，從而更好地應對未知物體。
零樣本學習 (Zero-Shot Learning): 零樣本學習旨在讓模型在沒有任何訓練樣本的情況下識別新類別，這對於處理未知物體非常有幫助。
利用先驗知識: 可以利用現有的知識庫和常識推理來輔助未知物體的分類。

如果訓練數據集中存在嚴重的類別不平衡問題，那麼文中提出的方法是否仍然有效？如何減輕類別不平衡對 OSOD 性能的影響？

如果訓練數據集中存在嚴重的類別不平衡問題，文中提出的方法（OpenDet 和 OW-DETR++）的性能可能會受到影響，特別是在檢測屬於少數類別的未知物體時。
影響:

OpenDet: OpenDet 通過區分潛在空間中的高密度和低密度區域來識別未知物體。如果少數類別的樣本數量過少，它們在潛在空間中可能無法形成緊密的簇，導致模型難以將其與已知類別區分開來。
OW-DETR++: OW-DETR++ 使用偽標籤來訓練模型檢測未知物體。如果訓練數據集中少數類別的樣本過少，模型可能會學習到一個有偏的決策邊界，導致其在測試時更容易將少數類別的未知物體誤分類為已知類別。
減輕類別不平衡的影響:
以下是一些可以減輕類別不平衡對 OSOD 性能影響的方法：

數據增強: 對於少數類別，可以通過數據增強技術（例如旋轉、翻轉、裁剪等）來增加其樣本數量。
重採樣: 可以通過過採樣少數類別或欠採樣多數類別來平衡數據集。
代價敏感學習: 可以為不同類別的誤分類分配不同的代價，例如，將少數類別的誤分類代價設置得更高，從而促使模型更加關注少數類別。
遷移學習: 可以使用在更均衡的數據集上預訓練的模型，然後在目標數據集上進行微調。

本文的研究成果能否應用於其他計算機視覺任務，例如圖像分割、目標跟踪等？這些任務中的開放集問題有哪些獨特的挑戰？

本文的研究成果，特別是關於開放集問題的定義、評估指標以及基於偽標籤和對比學習的未知物體檢測方法，可以為其他計算機視覺任務提供有益的借鑒，例如：

圖像分割: 在圖像分割中，開放集問題表現為模型需要識別和分割出訓練集中未見過的物體類別。例如，醫學影像分割中，模型可能需要識別出新的病變區域。
目標跟踪: 在目標跟踪中，開放集問題表現為模型需要在視頻序列中持續跟踪訓練集中未見過的物體。例如，自動駕駛系統需要跟踪路上出現的新型車輛。
然而，這些任務中的開放集問題也存在一些獨特的挑戰：

圖像分割:

像素級別的分類: 圖像分割需要對每個像素進行分類，這比目標檢測的邊界框級別分類更具挑戰性。
上下文信息: 分割模型需要有效地利用上下文信息來區分不同類別的物體，特別是當物體的外觀相似時。

目標跟踪:

時序信息: 目標跟踪需要處理視頻序列中的時序信息，這需要模型具備一定的記憶能力和時序建模能力。
遮擋和尺度變化: 目標跟踪過程中經常會出現遮擋和尺度變化等問題，這對模型的魯棒性提出了更高的要求。
總之，開放集問題是計算機視覺領域的一個重要研究方向，本文的研究成果為解決這一問題提供了一些有價值的思路和方法。相信隨著研究的深入，我們將能夠開發出更加智能和魯棒的計算機視覺系統，以應對日益複雜的現實世界應用需求。