Core Concepts
마스크 자동 인코더를 활용하여 레이블이 필요 없는 신경망 구조 탐색 방법을 제안하며, 이를 통해 레이블 데이터 확보의 어려움을 해결하고 성능 저하 문제를 해결할 수 있다.
Abstract
본 연구는 마스크 자동 인코더(MAE)를 활용하여 레이블이 필요 없는 신경망 구조 탐색(NAS) 방법을 제안한다. 기존 NAS 방법은 레이블이 있는 데이터에 의존하지만, 레이블 데이터를 확보하는 것이 어려운 문제가 있다. 이에 본 연구에서는 이미지 복원 작업을 목표로 하는 MAE를 NAS의 프록시 태스크로 활용한다. 이를 통해 레이블 데이터 없이도 우수한 성능의 신경망 구조를 탐색할 수 있다.
또한 기존 DARTS 방법에서 발생하는 성능 붕괴 문제를 해결하기 위해 계층적 디코더를 제안한다. 이는 다양한 해상도의 특징을 활용하여 안정적인 학습을 가능하게 한다.
실험 결과, 제안 방법은 CIFAR-10, ImageNet, NAS-Bench-201 등 다양한 데이터셋과 탐색 공간에서 기존 감독 학습 기반 NAS 방법과 비교해 우수한 성능을 보였다. 또한 다른 NAS 알고리즘과의 조합을 통해서도 성능 향상을 확인할 수 있었다.
Stats
제안 방법은 CIFAR-10 데이터셋에서 97.43% 정확도를 달성하였으며, 이는 기존 감독 학습 기반 NAS 방법과 유사한 수준이다.
ImageNet 데이터셋에서 제안 방법은 76.1%의 top-1 정확도를 달성하여, 다른 감독 학습 및 무감독 NAS 방법을 능가하였다.
NAS-Bench-201 벤치마크에서 제안 방법은 CIFAR-100 데이터셋에서 73.51%의 최고 정확도를 달성하였다.
Quotes
"마스크 자동 인코더를 활용하여 레이블이 필요 없는 신경망 구조 탐색 방법을 제안한다."
"계층적 디코더를 통해 DARTS의 성능 붕괴 문제를 해결한다."