本文提出了一種新的攻擊增強混合對比骨骼表示學習框架(A2MC)。
首先,A2MC設計了一個攻擊增強(Att-Aug)機制,通過針對性的攻擊和隨機的增強,生成高質量的正樣本特徵。攻擊部分利用基於梯度的白盒攻擊,將骨骼特徵推向語義邊界,增強部分則隨機擾動骨骼外觀,產生更多樣的正樣本特徵。
其次,A2MC提出了一個正負樣本混合器(PNM),將生成的高質量正樣本特徵與從更新的記憶庫中取出的負樣本特徵進行混合,生成高質量的負樣本特徵。這些高質量的正負樣本特徵被用於更新記憶庫,並參與對比學習。
最後,A2MC設計了一個混合對比(MC)損失函數,將正樣本特徵的相似度分佈拉近one-hot分佈,將強增強正樣本特徵的相似度分佈拉近基本增強正樣本特徵的相似度分佈。
實驗結果表明,A2MC在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD數據集上的無監督骨骼動作識別任務中,均優於現有最先進方法。
翻譯成其他語言
從原文內容
arxiv.org
深入探究