이 논문은 신경망 구조 탐색(NAS)을 위한 새로운 zero-cost 메트릭을 제안한다. 이 메트릭은 두 개의 일정한 공유 가중치 초기화에 따른 출력 통계를 기반으로 한다. 레이블이 없는 미니배치 데이터만을 사용하여 신경망 구조의 잠재력을 평가할 수 있다. 출력의 분산과 평균 출력 크기의 비율인 epsilon 메트릭은 학습된 정확도와 높은 상관관계를 보인다. 이 방법은 기존 NAS 알고리즘에 쉽게 통합될 수 있으며, 단일 네트워크 평가에 매우 짧은 시간이 소요된다. NAS-Bench-101, NAS-Bench-201, NAS-Bench-NLP 벤치마크 데이터셋에서 epsilon 메트릭의 우수한 성능을 확인했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Ekaterina Gr... at arxiv.org 04-11-2024
https://arxiv.org/pdf/2302.04406.pdfDeeper Inquiries