登录
洞察 - 딥러닝 모델 압축
ONNX 기반 일반 모델 압축 어댑터: ONNXPruner
ONNXPruner는 ONNX 형식의 모델에 대해 다양한 모델 구조에 자동으로 적응할 수 있는 범용 모델 압축 어댑터입니다. 노드 연관 트리를 사용하여 압축된 노드와 연관된 노드 간의 관계를 명확히 정의하고, 트리 수준 평가 방법을 통해 압축 성능을 향상시킵니다.
자동 학습 및 압축: 컨트롤러 네트워크 기반 자동 네트워크 압축 기법
본 논문은 추가적인 미세 조정 없이 딥러닝 모델을 자동으로 압축하는 혁신적인 알고리즘인 Auto-Train-Once(ATO)를 제안한다. ATO는 모델 학습 과정에서 컨트롤러 네트워크를 활용하여 동적으로 압축 마스크를 생성하고, 이를 통해 모델의 계산 및 저장 비용을 자동으로 감소시킨다.
초기화 시 모든 티켓이 당첨되는 레이어 기반 로터리 티켓 가설
레이어 제거를 통해 초기화 시 모든 티켓이 당첨되는 희소 서브네트워크를 발견할 수 있다.
초기화 시 모든 티켓이 당첨되는 레이어 기반 로터리 티켓 가설
레이어 제거를 통해 초기화 시 모델의 성능을 유지하는 희소 서브네트워크(로터리 티켓)를 발견할 수 있다.
