Core Concepts
비결정론적 장치 변동에 대한 NVCIM DNN 가속기의 강건성을 향상시키기 위해 부정적 피드백 학습이라는 새로운 개념을 도입하였다.
Abstract
본 연구에서는 NVCIM DNN 가속기의 강건성 향상을 위해 부정적 피드백 학습(Negative Feedback Training, NFT)이라는 새로운 개념을 제안하였다. NFT는 기존의 노이즈 주입 학습 방식과 달리, 네트워크의 다양한 출력을 활용하여 부정적 피드백을 생성하고 이를 통해 모델의 최적 상태 도달을 돕는다.
구체적으로 두 가지 NFT 구현 방식을 제안하였다. 첫째, 지향성 변동 순전파(Oriented Variational Forward, OVF)는 변동이 큰 순전파 출력을 부정적 피드백으로 활용하여 모델의 최적 방향 이탈을 억제한다. 둘째, 중간 표현 스냅샷(Intermediate Representation Snapshot, IRS)은 네트워크 내부의 특징 표현을 부정적 피드백으로 활용하여 내부 변동을 직접 제어한다.
실험 결과, 제안한 NFT 방식들은 기존 노이즈 주입 학습 대비 최대 46.71%의 정확도 향상을 보였으며, 출력 불확실성 감소와 수렴 확률 향상 등의 효과도 확인되었다. 이는 NFT 개념이 비결정론적 장치 변동에 대한 DNN 모델의 강건성 향상에 효과적임을 보여준다.
Stats
원하는 가중치 값은 최대 절대값 W의 (2^M-1)/2^(M-1) 배로 양자화된다.
실제 프로그래밍된 가중치는 원하는 값에 장치 변동 Δg를 더한 값이 된다.
장치 변동 Δg는 평균 0, 표준편차 σd인 가우시안 분포를 따른다.
Quotes
"Negative Feedback Training (NFT)"는 DNN 학습 과정에 도입된 새로운 개념으로, 네트워크의 다양한 출력을 활용하여 부정적 피드백을 생성함으로써 모델의 강건성을 향상시킨다.
OVF는 변동이 큰 순전파 출력을 부정적 피드백으로 활용하여 모델의 최적 방향 이탈을 억제하고, IRS는 네트워크 내부의 특징 표현을 부정적 피드백으로 활용하여 내부 변동을 직접 제어한다.