透過葉層結構和知識轉移進行流形學習

我們提出以更一般的學習葉層結構來補充學習流形的概念。由數據信息矩陣(DIM)定義的可積分分布D允許根據Frobenius定理將數據空間劃分為葉層。實驗表明,數據點與葉層有相關性:沿著分布D移動,即沿著葉層移動,模型給出有意義的標籤,而在正交方向移動則導致分類錯誤越來越大。學習葉層雖然存在奇異性(秩下降)和非光滑性,但我們證明奇異點包含在零測度集中,因此學習葉層在數據空間中仍具有幾何意義。我們展示了訓練模型的數據集中的點具有較低的DIM特徵值,因此分布D可以成功地確定樣本是否屬於訓練集。我們還使用DIM的最低特徵值來衡量數據集之間的距離,並通過在不同數據集上重新訓練模型來測試所提出的距離。我們的結果在定量上還不太conclusive,但作為超越流形假設並利用奇異葉層理論進行降維和知識轉移的第一步,展現了巨大的潛力。