自我監督式學習視覺編碼器中記憶化的定位

即使自我監督式學習(SSL)編碼器是在數百萬張圖像上進行訓練,它們仍會記憶個別數據點。我們提出了兩種新的度量指標,LayerMem和UnitMem,用於定位SSL編碼器中的記憶化,不需要任何標籤信息和梯度計算,僅需要一次前向傳遞。我們發現:(1)儘管SSL記憶化隨層深增加,但高度記憶化的單元分佈在整個編碼器中;(2)SSL編碼器的大部分單元經歷了驚人的個別數據點記憶化,這與監督學習(SL)模型形成對比;(3)異常(或離群)數據點導致層和單元的記憶化大大增加;(4)在視覺變換器中,大部分記憶化發生在全連接層。最後,我們展示了定位SSL中的記憶化可以改善微調和修剪策略。