이 논문은 스파이크 구동 트랜스포머 아키텍처에 대한 메타 설계를 조사한다. 이는 아키텍처, 스파이크 구동 자기 주의, 단축 등을 포함한다. 제안된 Meta-SpikeFormer는 분류, 탐지, 분할 작업을 동시에 수행할 수 있는 최초의 직접 훈련 SNN 백본이며, 테스트된 모든 데이터셋에서 최첨단 결과를 달성했다. 특히 ImageNet-1K에서 SNN 도메인의 정확도를 처음으로 80%까지 끌어올렸는데, 이는 이전 최고 성과보다 3.7% 높고 17% 적은 매개변수를 사용했다. 이 연구는 SNN이 범용 비전 백본으로 활용될 수 있는 길을 열었으며, 미래의 트랜스포머 기반 신경형태 칩 설계에 영감을 줄 수 있다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Man Yao,Jiak... klo arxiv.org 04-08-2024
https://arxiv.org/pdf/2404.03663.pdfSyvällisempiä Kysymyksiä