Core Concepts
提案された解釈可能な構築的アルゴリズム(IC)は、ランダムに割り当てられた隠れパラメータと残差誤差の幾何学的関係を利用することで、ランダム重み付けニューラルネットワーク(RWNN)の黒箱プロセスの解釈性を向上させる。さらに、ノードプーリング戦略を採用することで、ネットワークの収束を促進する。
Abstract
本論文では、ランダム重み付けニューラルネットワーク(RWNN)の重大な欠点である隠れパラメータ選択の解釈困難さに取り組むため、幾何学的情報を利用した解釈可能な構築的手法(IC)を提案している。
ICでは、隠れパラメータをランダムに割り当てる際に幾何学的関係を利用することで、解釈性を向上させている。また、ノードプーリング戦略を採用し、ネットワークの収束を促進するノードを選択している。
理論的には、ICの一般的な近似特性を示し、大規模データモデリングタスクに適したライトウェイトバージョンを提示している。
実験結果では、6つのベンチマークデータセットと1つの数値シミュレーションデータセットにおいて、モデリング速度、精度、ネットワーク構造の面でICが他の構築的アルゴリズムよりも優れた性能を示している。さらに、2つの実世界の産業応用によってICの有効性が検証されている。
Stats
隠れパラメータωLとバイアスbLはランダムに[-λ,λ]dと[-λ,λ]から生成される。λは通常1の値を取る。
L番目の隠れノードの出力ベクトルgLは、∥eL−1∥2を最大化するように決定される。ここで、eL−1=f−fL−1は現在のネットワーク残差誤差である。
L番目の隠れノードの出力重みβLは、βL=⟨eL−1,gL⟩/∥gL∥2によって評価される。
Quotes
"ランダムに生成された隠れパラメータは、IRWNNsに必ずしも適切ではない可能性がある。では、IRWsに適切な隠れパラメータとは何か?"
"現在、NNの予測行動の解釈性を高めることが、ますます重要かつ重要な研究領域となっている。したがって、解釈可能な構築的アルゴリズムのさらなる研究が不可欠である。"