Core Concepts
RRAM 기반 딥 신경망 가속기의 제조 한계로 인한 하드웨어 결함 문제를 해결하기 위해 drop-connect 기반 기계 학습 기술을 제안한다.
Abstract
이 논문은 RRAM 기반 딥 신경망 가속기의 결함 허용을 위한 방법으로 drop-connect 기법을 제안한다. RRAM 디바이스는 제조 한계로 인해 하드웨어 결함에 매우 취약하며, 이는 실용적인 적용에 큰 문제가 된다.
저자들은 하드웨어 수정, 신경망 재학습, 추가 검출 회로/로직 없이도 RRAM 결함을 허용할 수 있는 drop-connect 기반 기계 학습 기술을 제안한다. 이 기술은 학습 단계에서 가중치의 무작위 부분집합을 0으로 설정하여 RRAM 결함 효과를 모방함으로써, 신경망이 RRAM 결함에 적응할 수 있도록 한다.
실험 결과, 제안 기술은 최대 30%의 높은 결함률에서도 1% 미만의 정확도 저하를 보이며, 시스템 수준의 런타임/에너지 비용도 최소화할 수 있음을 보여준다. 또한 1x1 커널 크기의 합성곱 층을 기존 아키텍처에서 실행하는 것이 중요하다는 점과, 일부 핵심 층의 구조를 수정하는 것이 drop-connect와 함께 사용될 수 있는 대안적인 접근법임을 확인했다.
이 연구는 RRAM 기반 딥 신경망 가속기의 결함 허용을 위한 효과적인 솔루션을 제시하며, 기계 학습 기술을 시스템 수준 문제에 적용할 때 필요한 심도 있는 이해와 분석의 중요성을 보여준다.
Stats
RRAM 디바이스는 제조 한계로 인해 Stuck-At-One(SA1) 결함이 전체 결함의 9.04%를 차지한다.
RRAM 기반 가속기에서 10%/20%/30% 결함률에 대해 VGG13은 2%/4-10%/6-20%, MobileNet V2는 2%/4-10%/6-20%, ResNet20은 0.2%/3%/7% 정확도 저하를 보인다.
채널 수를 20%/60% 늘리면 ResNet20의 정확도가 최대 4%/12.5% 향상되지만, 런타임과 에너지 소비가 각각 최대 42.6%/153.3% 증가한다.
Quotes
"RRAM 디바이스는 제조 한계로 인해 하드웨어 결함에 매우 취약하며, 이는 실용적인 적용에 큰 문제가 된다."
"제안 기술은 하드웨어 수정, 신경망 재학습, 추가 검출 회로/로직 없이도 RRAM 결함을 허용할 수 있다."
"1x1 커널 크기의 합성곱 층을 기존 아키텍처에서 실행하는 것이 중요하다."