Concetti Chiave
본 논문에서는 이미지 복원 작업에 사용되는 딥러닝 모델의 효율성을 높이기 위해 레이어별로 N:M sparsity 수준을 자동으로 결정하는 새로운 프루닝 방법인 SLS(Searching for Layer-wise N:M structured Sparsity)를 제안합니다. SLS는 기존의 uniform N:M sparsity 방법들과 달리 각 레이어의 계산 복잡도와 성능에 대한 기여도를 모두 고려하여 최적의 sparsity 수준을 찾아냄으로써, 이미지 복원 성능 저하를 최소화하면서 모델 크기를 효과적으로 줄입니다.
Sintesi
이미지 복원 모델 경량화를 위한 레이어별 N:M Sparsity 탐색 프레임워크
최근 딥러닝 기술의 발전으로 이미지 복원 작업에서 뛰어난 성능을 보이는 모델들이 등장했지만, 높은 계산 복잡도로 인해 실시간 애플리케이션 적용에 어려움을 겪고 있습니다.
본 논문에서는 이미지 복원 모델의 효율성을 높이기 위해 레이어별 N:M sparsity 수준을 자동으로 결정하는 새로운 프루닝 방법인 SLS를 제안합니다.
이미지 복원: 딥러닝 기반 이미지 복원 기술은 멀티 스케일 구조, 스택 네트워크, 재귀 모델 등 복잡한 구조를 통해 성능을 향상시켜왔지만, 높은 계산량이 요구됩니다.
네트워크 프루닝: 모델의 불필요한 연결을 제거하여 계산 복잡도를 줄이는 기술로, 구조적 프루닝과 비구조적 프루닝으로 나뉩니다.
비구조적 프루닝은 개별 가중치를 제거하지만, 불규칙적인 sparsity 패턴으로 인해 하드웨어 가속이 어렵습니다.
구조적 프루닝은 필터, 채널 등의 그룹 단위로 가중치를 제거하여 하드웨어 가속이 용이하지만, 이미지 복원 모델에서는 성능 저하가 발생할 수 있습니다.
N:M Sparsity: 구조적 프루닝과 비구조적 프루닝의 장점을 결합한 방법으로, M개의 연속적인 가중치 중 N개만 유지합니다. 하드웨어 가속이 가능하며, 최근 NVIDIA Ampere GPU에서 2:4 sparsity 패턴을 지원합니다.