本稿では、スパイクニューラルネットワーク(SNN)の最適なネットワーク構造を自動的に探索する新しい手法である、多次元アテンションを用いた微分可能なアーキテクチャ検索(MA-DARTS)を提案する。
本稿では、NPU と CIM のヘテロジニアスなアーキテクチャを活用し、ハイブリッド CNN/ViT モデルを効率的に実行することで、AR/VR デバイスのエッジ AI システムの遅延とエネルギー効率を大幅に向上できることを示しています。
強化学習ベースのニューラルアーキテクチャ検索手法を提案し、NAS-Bench-101およびNAS-Bench-301の設定で評価し、既知の強力なベースラインと比較した。
ニューラルアーキテクチャの出力統計に基づいて、未訓練の状態でそのポテンシャルを評価することができる。
新しい問題「ニューラルアーキテクチャ検索」を定義し、効率的で正確な検索を実現するためのグラフ表現学習フレームワークを導入。
論文は、多目的進化アルゴリズムを用いた再帰ニューラルネットワークのアーキテクチャ検索手法を提案しており、計算資源を削減しながらも優れた性能を達成することが可能であることを示しています。
訓練フリーNASのロバスト性とパフォーマンス向上を目指すRoBoTアルゴリズムが提案された。