核心概念
本文提出了兩種擴展上下文自我調節(CSM)的方法:iCSM和StochasticNCF,以解決CSM在不同模態和高數據範圍的局限性。這些擴展通過廣泛的實驗得到驗證,包括動力系統參數變化、計算機視覺挑戰和曲線擬合問題。iCSM將上下文嵌入到無限維函數空間,而StochasticNCF通過採樣近似環境來提高可擴展性。此外,本文還展示了如何將CSM集成到其他元學習框架中,如FlashCAVIA,這是CAVIA元學習框架的高效擴展。
摘要
本文提出了兩種擴展上下文自我調節(CSM)的方法:
-
iCSM:將上下文嵌入到無限維函數空間,而不是使用有限維上下文向量。這使得模型能夠適應更廣泛的變化,並可能利用動力系統的李群對稱性和圖像的平移等價性。
-
StochasticNCF:提高神經上下文流(NCF)框架的可擴展性,使其能夠處理高數據範圍,如曲線擬合和圖像補全。通過隨機採樣近似環境,StochasticNCF能夠在保持CSM和iCSM兼容性的同時,實現更高效的訓練。
此外,本文還提出了FlashCAVIA,這是CAVIA元學習框架的高效擴展。FlashCAVIA展示了CSM與雙層優化方法的兼容性,並通過更有效地利用大量內部更新,實現了更富表現力的模型。
實驗結果表明,iCSM在動力系統重建等物理系統任務中表現出色,而StochasticNCF則在高數據情境下的曲線擬合和圖像補全任務中更為優秀。FlashCAVIA在低數據和高數據情境下均優於原始CAVIA。總的來說,本文提出的方法為元學習提供了一個強大而靈活的框架,可以應用於各種任務和數據情境。
統計資料
動力系統重建任務中,iCSM-3的OoD MSE為0.0148,優於其他方法。
圖像補全任務中,NCF*-1在K=100的測試集MSE為0.0207,優於其他方法。
在高數據(N=12500)的正弦曲線擬合任務中,FlashCAVIA-100的測試集MSE為0.0013,顯著優於其他方法。
引述
"iCSM embeds the contexts into an infinite-dimensional function space, as opposed to CSM which uses finite-dimensional context vectors."
"StochasticNCF enables the application of both CSM and iCSM to high-data scenarios by providing an unbiased approximation of meta-gradient updates through a sampled set of near-est environments."
"FlashCAVIA outperforms its predecessor across various benchmarks and reinforces the utility of bi-level optimization techniques."