核心概念
本文提出了一種名為「雙層級聯合適應與反遺忘」(DJAA)的框架,用於解決無監督人員再識別(ReID)模型在適應新數據時容易遺忘先前學習知識的問題,並提升模型對未見數據的泛化能力和向後兼容性。
摘要
書目資訊
Chen, H., Bremond, F., Sebe, N., & Zhang, S. (2024). Anti-Forgetting Adaptation for Unsupervised Person Re-identification. arXiv preprint arXiv:2411.14695v1.
研究目標
本研究旨在解決無監督人員再識別(ReID)模型在適應新數據時容易遺忘先前學習知識的問題,並提升模型對未見數據的泛化能力和向後兼容性。
方法
本文提出了一種名為「雙層級聯合適應與反遺忘」(DJAA)的框架,該框架包含適應模組和複習模組。適應模組利用基於偽標籤的對比學習方法 ICE [2],結合線上編碼器和動量編碼器,透過原型對比適應損失和實例對比適應損失來學習新域特徵。複習模組則使用儲存在混合記憶體緩衝區中的少量舊域樣本和相應的聚類原型,透過圖像到原型相似性一致性損失和圖像到圖像相似性一致性損失來保留先前學習的知識。
主要發現
- DJAA 框架有效地減輕了無監督人員再識別模型在適應新數據時產生的遺忘現象。
- DJAA 框架提升了模型對未見數據的泛化能力,使其在未經訓練的新域上也能表現出色。
- DJAA 框架增強了模型的向後兼容性,使得更新後的模型能夠有效地與先前提取的特徵表示進行比較。
主要結論
DJAA 框架為解決無監督人員再識別中的遺忘、泛化能力和向後兼容性問題提供了一種有效的解決方案。透過結合適應模組和複習模組,DJAA 框架能夠在學習新知識的同時保留舊知識,並提升模型在不同域上的表現。
研究意義
本研究對於提升人員再識別系統在實際應用中的穩健性和效率具有重要意義。透過解決模型遺忘和泛化能力問題,DJAA 框架有助於構建更加可靠和實用的 ReID 系統。
局限性和未來研究方向
- 本研究主要關注於單一圖像的人員再識別,未來可以探討 DJAA 框架在影片人員再識別中的應用。
- 本研究使用的記憶體緩衝區大小有限,未來可以研究更有效的記憶體管理策略以提升模型的性能。
統計資料
本文使用了 4 個已見數據集進行域增量訓練,包括 PersonX、Market1501、CUHK-SYSU 和 MSMT17。
本文使用了 10 個未見數據集進行泛化能力評估,包括 VIPeR、PRID、GRID、iLIDS、CUHK01、CUHK02、SenseReID、CUHK03、3DPeS 和 MMP-Retrieval。
混合記憶體緩衝區的大小預設為 512 張圖像和 512 個原型。
每個 mini-batch 的大小為 32 張圖像。
動量編碼器的動量超參數 α 設定為 0.999。
引述
"In this paper, we propose a Dual-level Joint Adaptation and Anti-forgetting (DJAA) framework, which incrementally adapts a model to new domains without forgetting source domain and each adapted target domain."
"We explore the possibility of using prototype and instance-level consistency to mitigate the forgetting during the adaptation."
"Extensive experiments demonstrate that our proposed method significantly improves the anti-forgetting, generalization and backward-compatible ability of an unsupervised person ReID model."