이 논문은 확산 모델(DM)의 가중치를 1비트로 압축하기 위한 새로운 정확한 양자화 기반 학습 접근법인 BinaryDM을 제안합니다.
첫째, Learnable Multi-basis Binarizer(LMB)를 제안하여 이진화된 DM에 의해 생성된 표현을 복구합니다. LMB는 다중 이진 기저와 학습 가능한 스칼라를 적용하여 가중치의 표현 능력을 크게 향상시킵니다.
둘째, Low-rank Representation Mimicking(LRM)을 적용하여 이진화 인식 DM의 최적화를 향상시킵니다. LRM은 전체 정밀도 및 이진화 표현을 저차원 공간으로 투영하여 미세한 정렬로 인한 최적화 방향 모호성을 완화합니다.
또한 점진적 초기화 전략을 적용하여 DM 학습의 수렴 어려움을 해결합니다.
실험 결과, BinaryDM은 초저비트 환경에서 SOTA 양자화 방법에 비해 정확도와 효율성이 크게 향상되었습니다. W1A4 BinaryDM은 16.0배 FLOPs와 27.1배 저장 공간 절감을 달성하여, 엣지 하드웨어에 DM을 배포하는 데 있어 상당한 장점과 잠재력을 보여줍니다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Xingyu Zheng... om arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.05662.pdfDiepere vragen