複雑な連結トポロジーを持つ深層ニューラルネットワーク(DNNs)の接続構造を特徴付けるために、350個のDNNが訓練され、異なるランダム初期化パラメータで模倣飛行制御システムをシミュレートするよう訓練されました。結果は、強制的なスパース化がDNNが類似した接続パターンに収束させることを示しました。これは、DNNの機能がどのようにエンコードされるかを示唆し、将来の実験のアイデアも提案しています。
複雑なネットワークでは、サブグラフである「ネットワークモチーフ」が重要です。これらはランダムに接続された同等のネットワークよりも頻繁に発生します。この研究では、DNNの接続構造がどのように特徴付けられるかを調査しました。また、異なる剪定技術がDNNの性能や構造に与える影響も興味深いです。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Olivia T. Za... a las arxiv.org 03-05-2024
https://arxiv.org/pdf/2403.00974.pdfConsultas más profundas