複雑な連結トポロジーを持つ深層ニューラルネットワーク(DNNs)の接続構造を特徴付けるために、350個のDNNが訓練され、異なるランダム初期化パラメータで模倣飛行制御システムをシミュレートするよう訓練されました。結果は、強制的なスパース化がDNNが類似した接続パターンに収束させることを示しました。これは、DNNの機能がどのようにエンコードされるかを示唆し、将来の実験のアイデアも提案しています。
複雑なネットワークでは、サブグラフである「ネットワークモチーフ」が重要です。これらはランダムに接続された同等のネットワークよりも頻繁に発生します。この研究では、DNNの接続構造がどのように特徴付けられるかを調査しました。また、異なる剪定技術がDNNの性能や構造に与える影響も興味深いです。
To Another Language
from source content
arxiv.org
Głębsze pytania