Core Concepts
マスクオートエンコーダーを用いることで、ラベル付きデータを必要とせずにニューラルアーキテクチャを効果的に発見できる。
Abstract
本研究では、マスクオートエンコーダー(MAE)を用いたニューラルアーキテクチャ検索手法(MAE-NAS)を提案している。従来のニューラルアーキテクチャ検索手法は、ラベル付きデータに依存していたが、MAE-NASではラベルを必要とせずに検索を行うことができる。
具体的には、入力画像にマスクを適用し、エンコーダーネットワークでその特徴を抽出する。その特徴をデコーダーネットワークに入力し、元の画像を再構成するタスクを最適化することで、優れたアーキテクチャを発見する。
さらに、DARTS手法におけるパフォーマンス劣化の問題に対して、階層的デコーダーを導入することで解決している。
MAE-NASは、ImageNetやMS COCOデータセットなどで、既存の教師あり/教師なしのニューラルアーキテクチャ検索手法と比較して優れた性能を示している。また、NAS-Bench-201ベンチマークでも最高性能を達成しており、提案手法の有効性が確認された。
Stats
提案手法MAE-NASは、ImageNetデータセットにおいて76.1%の高精度を達成した。
MAE-NASは、FairDARTS-Bと比較して1%高い精度を示した。
MAE-NASは、CIFAR-10データセットにおいて97.43%の高精度を達成した。
Quotes
"マスクオートエンコーダーを用いることで、ラベル付きデータを必要とせずにニューラルアーキテクチャを効果的に発見できる。"
"階層的デコーダーを導入することで、DARTS手法におけるパフォーマンス劣化の問題を解決している。"