Core Concepts
深層ニューラルネットワークは複雑ネットワーク理論を用いて解釈できる。これにより、入出力関係だけでなく、ネットワークの内部構造や動態についても洞察が得られる。
Abstract
本研究では、深層ニューラルネットワーク(DNN)を複雑ネットワーク理論(CNT)の観点から解釈する方法を提案している。従来のCNTアプローチは主に構造的な分析に留まっていたが、本研究では入力データの影響も考慮した新しいCNTメトリクスを導入している。
具体的には以下の3つのレベルの分析を行っている:
異なるアーキテクチャ(全結合ネットワーク、畳み込みネットワーク、再帰ニューラルネットワーク、オートエンコーダ)のCNTメトリクスの比較
活性化関数(線形、ReLU、シグモイド)の違いがCNTメトリクスに及ぼす影響の分析
ネットワークの深さ(3層、7層)がCNTメトリクスに及ぼす影響の分析
これらの分析により、以下のような知見が得られた:
過剰パラメータ化された構造が多くのアーキテクチャで見られる
畳み込みネットワークでは局所的な学習パターンが観察される
非線形活性化関数を持つモデルでは非対称な分布が見られ、複雑なパターン学習を行っている
オートエンコーダの深層モデルでは浅層モデルとは異なる学習ダイナミクスを示す
畳み込みネットワークの非線形活性化モデルでは、分類に有効な負の領域のパターンを学習している
本研究の成果は、DNNの内部構造と学習プロセスの解釈に役立つと考えられる。今後は、自己注意機構などの先進的なアーキテクチャへの適用が期待される。
Stats
ニューロンの強度は、前層の活性化値と重みの積の和で表される。
ニューロンの活性化は、前層の加重和に活性化関数を適用して得られる。