本研究では、ニューラルアーキテクチャ探索(NAS)の分野において、多目的最適化を行うPONOMAGを提案している。PONOMAGは、DiffusionNAGをベースとしつつ、以下の拡張を行っている:
多目的逆拡散ガイダンス: 精度、パラメータ数、演算量(MAC)、推論遅延の4つの目的関数を同時に考慮し、それぞれの予測モデルを統合することで、パレート最適なアーキテクチャを生成する。
拡張メタデータセットの作成: 従来のメタデータセットに比べ、より多様な構造のアーキテクチャと、より詳細な性能指標(精度、パラメータ数、MAC、遅延)を含むデータセットを構築した。
予測モデルの改善: 精度、パラメータ数、MAC、遅延の各指標に対する予測モデルの精度を向上させ、多目的最適化の効果を高めた。
パレートフロントフィルタリングと伸長: 生成されたアーキテクチャの中から、パレート最適解を選別し、多様な性能バランスを持つアーキテクチャを抽出する手法を導入した。
実験の結果、PONOMAGは既存手法と比べて、精度と効率性のバランスに優れたアーキテクチャを生成できることが示された。NASBench201とMobileNetV3の2つの検索空間で評価し、精度、パラメータ数、MAC、遅延のすべての指標で優れた性能を発揮した。特に、効率重視のバリアントでは大幅な計算コスト削減を実現しつつ、高精度なアーキテクチャを生成できることが確認された。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問