Core Concepts
능동 수상돌기를 활용하면 시간 기반 스파이킹 신경망에서 과거 학습 내용을 효과적으로 유지하면서 새로운 작업을 순차적으로 학습할 수 있다.
Abstract
이 논문은 시간 기반 스파이킹 신경망(TTFS-SNN)에 능동 수상돌기 개념을 도입하여 지속적 학습 문제를 해결하는 방법을 제안한다.
먼저, 기존 TTFS-SNN 모델의 한계인 '죽은 뉴런' 문제와 '재앙적 망각' 문제를 설명한다. 이를 해결하기 위해 능동 수상돌기 모델을 도입하였다. 능동 수상돌기는 뉴런의 활성화를 문맥 의존적으로 조절할 수 있어 과거 학습 내용을 보존하면서 새로운 작업을 학습할 수 있다.
제안한 모델은 TTFS 인코딩의 높은 희소성을 활용하여 '죽은 뉴런'을 게이팅 메커니즘으로 사용한다. 또한 수상돌기 의존 스파이크 지연 메커니즘을 통해 동적인 문맥 의존 게이팅을 구현한다.
실험 결과, 제안한 모델은 Split MNIST 데이터셋에서 88.3%의 높은 최종 정확도를 달성하여 기존 TTFS-SNN 대비 약 8.7% 감소에 그쳤다. 이는 기존 TTFS-SNN의 27.6% 감소에 비해 크게 개선된 성능이다.
또한 Xilinx Zynq-7020 FPGA에 구현한 하드웨어 아키텍처가 소프트웨어 모델과 완벽하게 일치하면서 평균 37.3ms의 추론 시간과 80.0%의 정확도를 달성하였다.
Stats
제안한 모델은 Split MNIST 데이터셋에서 88.3%의 최종 정확도를 달성하였다.
기존 TTFS-SNN 대비 약 8.7% 감소에 그쳤다.
기존 TTFS-SNN의 27.6% 감소에 비해 크게 개선된 성능이다.
Xilinx Zynq-7020 FPGA 구현 시 평균 37.3ms의 추론 시간과 80.0%의 정확도를 달성하였다.
Quotes
"능동 수상돌기를 활용하면 시간 기반 스파이킹 신경망에서 과거 학습 내용을 효과적으로 유지하면서 새로운 작업을 순차적으로 학습할 수 있다."
"제안한 모델은 Split MNIST 데이터셋에서 88.3%의 높은 최종 정확도를 달성하였다."
"Xilinx Zynq-7020 FPGA 구현 시 평균 37.3ms의 추론 시간과 80.0%의 정확도를 달성하였다."