Core Concepts
深層ニューラルネットワークの構造と学習を効率的に最適化するために、サロゲート支援進化アルゴリズムを提案し、従来手法と比較して優れた性能を示す。
Abstract
本研究では、深層ニューラルネットワーク(DNN)の構造と学習を効率的に最適化するために、サロゲート支援進化アルゴリズムを提案している。
具体的には以下の点が主な内容となっている:
NeuroLGP: DNNの構造を効率的にエンコードするためのLinear Genetic Programming (LGP)ベースのアプローチを提案している。レジスタを用いてDNNの層の入出力をコントロールする。
NeuroLGP-SM: NeuroLGPにサロゲートモデルを統合したアプローチ。部分的に学習したDNNの性能を、フェノタイプ距離ベクトルとKriging Partial Least Squares (KPLS)を用いて効率的に推定する。
評価: BreakHis乳がん画像分類データセットを用いて、NeuroLGP-SMがConvNet、SVM、オートエンコーダなどの手法と同等以上の性能を示すことを確認した。また、NeuroLGP-SMはNeuroLGPに比べて25%のエネルギー効率が高いことも示した。
分析: NeuroLGP-SMとNeuroLGPの遺伝子型の変化を分析し、データセットに応じた最適な層構造が進化的に発見されていることを明らかにした。
Stats
DNNの部分的な学習結果から、実際の性能を高精度に予測できる。
NeuroLGP-SMはNeuroLGPに比べて25%のエネルギー効率が高い。
Quotes
"深層ニューラルネットワークの構造と学習を効率的に最適化するために、サロゲート支援進化アルゴリズムを提案し、従来手法と比較して優れた性能を示す。"
"NeuroLGP-SMはNeuroLGPに比べて25%のエネルギー効率が高い。"