Khái niệm cốt lõi
深層ネットワークの学習済み重みはランダムな初期化に依存せず、各層の重み共分散によって決定されるデータ依存のRKHSに属する。
Tóm tắt
深層ネットワークにおける表現の整列と重み共分散:レインボーモデルの紹介
Guth, F., Ménard, B., Rochette, G., & Mallat, S. (2024). A Rainbow in Deep Network Black Boxes. Journal of Machine Learning Research, 25, 1-59.
本研究は、深層学習における中心的な課題である、深層ネットワークによって学習される関数を理解することを目的とする。具体的には、学習された重みと表現が初期化に依存するのか、また、それらがどのような近似クラスに属するのかを明らかにすることを目指す。