Core Concepts
ANN의 활성화 함수에 가우시안 노이즈를 추가하여 SNN으로의 변환 시 발생하는 잔여 오차를 보상함으로써 저지연 조건에서 SNN의 성능을 향상시킨다.
Abstract
이 논문은 ANN-SNN 변환 시 발생하는 잔여 오차를 명시적으로 모델링하여 저지연 조건에서 SNN의 성능을 향상시키는 방법을 제안한다.
ANN-SNN 변환 과정에서 발생하는 세 가지 오차(클리핑 오차, 양자화 오차, 잔여 오차)를 분석하였다. 특히 잔여 오차의 분포가 평균 0, 분산이 큰 가우시안 분포를 따르는 것을 관찰하였다.
이를 바탕으로 ANN의 활성화 함수에 가우시안 노이즈를 추가하는 Noisy Quantized (NQ) 활성화 함수를 제안하였다. 이를 통해 ANN과 변환된 SNN 간의 출력 차이를 줄일 수 있다.
노이즈 강도를 결정하기 위해 검증 데이터셋을 이용하여 각 층의 노이즈 강도를 자동으로 조정하는 계층별 오차 보상 전략을 제안하였다.
CIFAR-10/100 데이터셋에서 실험한 결과, 제안 방법이 기존 ANN-SNN 변환 기법 및 직접 학습된 SNN 모델보다 저지연 조건에서 우수한 성능을 보였다.
Stats
변환된 SNN의 출력과 ANN의 출력 간 잔여 오차의 표준편차는 크지만 평균은 작다.
제안 방법의 추가 학습 오버헤드는 크지 않다.
Quotes
"The challenge of low-latency ANN-SNN conversion arises from conversion errors, which have been identified by previous studies [29; 1], resulting in a performance gap under low-latency conditions."
"We find that the standard deviation of the distribution of g′l(T) is large while the mean is comparably small (close to 0). The distribution is almost symmetric around 0."