Core Concepts
스파이크 형태 푸리에 변환 및 웨이블릿 변환을 활용하여 기존 스파이크포머의 자기 주의 메커니즘을 대체함으로써 높은 정확도와 더불어 계산 효율성을 향상시킬 수 있다.
Abstract
이 논문은 스파이크 신경망(SNN)과 인공 트랜스포머를 결합한 에너지 효율적인 스파이크포머 모델을 제안한다. 기존 스파이크포머는 스파이크 형태 자기 주의 메커니즘(SSA)을 사용하여 높은 정확도와 낮은 계산 비용을 달성했지만, 여전히 O(N^2) 복잡도의 한계가 있다.
이에 저자들은 SSA가 정보 변환을 위한 기저 함수 집합을 사용한다는 가설을 제시한다. 이를 바탕으로 SSA를 고정 삼각형 또는 웨이블릿 기저 함수를 사용하는 스파이크 형태 푸리에 변환(FT) 및 웨이블릿 변환(WT)으로 대체한 FWformer를 제안한다.
FWformer는 기존 스파이크포머 대비 0.4%-1.5% 높은 정확도, 9%-51% 더 빠른 학습 속도, 19%-70% 더 빠른 추론 속도, 20%-25% 낮은 이론적 에너지 소비, 4%-26% 낮은 GPU 메모리 사용량을 달성했다.
또한 저자들은 SSA의 직교성 변화를 분석하고, 이를 바탕으로 다양한 웨이블릿 기저 함수의 조합을 활용한 비직교 기저 함수를 제안했다. 이를 통해 추가적으로 0.4%-1.5%의 정확도 향상을 달성했다.
결과적으로 생물학적 발견과 정보 이론에 영감을 받은 새로운 트랜스포머 모델의 지속적인 개선이 유망함을 보여준다.
Stats
스파이크포머 대비 FWformer의 GPU 메모리 사용량이 4%-26% 감소했다.
FWformer의 학습 속도가 스파이크포머 대비 9%-51% 향상되었다.
FWformer의 추론 속도가 스파이크포머 대비 19%-70% 향상되었다.
FWformer의 이론적 에너지 소비가 스파이크포머 대비 20%-25% 감소했다.
Quotes
"스파이크 형태 푸리에 변환 또는 웨이블릿 변환을 활용하여 기존 스파이크포머의 자기 주의 메커니즘을 대체함으로써 높은 정확도와 더불어 계산 효율성을 향상시킬 수 있다."
"결과적으로 생물학적 발견과 정보 이론에 영감을 받은 새로운 트랜스포머 모델의 지속적인 개선이 유망함을 보여준다."