이 논문은 스파이킹 신경망 기반 언어 모델에 극단적 양자화 기법을 적용하여 모델 크기와 에너지 효율을 크게 향상시키는 방법을 제안한다.
주요 내용은 다음과 같다:
스파이킹 신경망 기반 언어 모델 아키텍처를 제안하였다. 이 모델은 기존 BERT 기반 언어 모델 아키텍처를 활용하되, 모든 선형 투영 레이어를 1비트 또는 1.58비트로 양자화하였다.
평형 상태에서의 암시적 미분 기법을 활용하여 스파이킹 모델을 효율적으로 학습할 수 있었다. 이를 통해 중간 레이어의 평균 스파이킹 활성도를 활용하여 지식 증류 기법을 적용할 수 있었다.
제안한 1비트 및 1.58비트 스파이킹 언어 모델은 GLUE 벤치마크의 다양한 텍스트 분류 과제에서 우수한 성능을 보였다. 특히 1.58비트 모델은 full-precision 모델과 거의 유사한 성능을 달성하였다.
극단적 가중치 양자화와 스파이킹 신경 활성도의 결합을 통해 모델 크기, 에너지 및 전력 소비를 크게 줄일 수 있었다.
이 연구는 스파이킹 신경망 기반 언어 모델에 대한 극단적 양자화 기법을 최초로 제안한 것으로, 에지 디바이스 등 제한된 자원에서 활용할 수 있는 효율적인 언어 모델 구현에 기여할 것으로 기대된다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Malyaban Bal... lúc arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.02543.pdfYêu cầu sâu hơn