Die Studie präsentiert BinaryDM, einen neuartigen Ansatz zur genauen quantisierungsbasierten Ausbildung von Diffusionsmodellen, um deren Gewichte auf 1-Bit zu reduzieren.
Zunächst wird ein lernbarer mehrbasiger Binarisierer (LMB) eingeführt, um die von den binarisierten Diffusionsmodellen generierten Repräsentationen zu verbessern. LMB verwendet zwei Sätze binärer Basen mit lernbaren Skalaren, um die Merkmalsextraktionsfähigkeit der Gewichte deutlich zu erhöhen und so die Repräsentationsinformationen in Diffusionsmodellen zu verbessern.
Darüber hinaus wird eine niedrigrangige Repräsentationsangleichung (LRM) angewendet, um die binarisierungsbasierte Optimierung des Diffusionsmodells zu verbessern. LRM projiziert binarisierte und vollpräzise Repräsentationen in einen niedrigrangigen Raum, um die Optimierung des binarisierten Diffusionsmodells auf die Hauptrichtung zu konzentrieren und Mehrdeutigkeiten bei der feingranularen Überwachung abzumildern.
Darüber hinaus wird eine schrittweise Initialisierungsstrategie in der frühen Trainingsphase angewendet, um die Optimierung von binarisierten Diffusionsmodellen aus leicht konvergenten Positionen zu starten.
Umfassende Experimente zeigen, dass BinaryDM im Vergleich zu bestehenden Methoden bei extrem niedrigen Bitbreiten erhebliche Leistungsverbesserungen erzielt. BinaryDM kann die Leistung von Diffusionsmodellen selbst bei einer Bitbreite von 1 für Gewichte und 4 für Aktivierungen deutlich verbessern und übertrifft sogar höherwertige Quantisierungsmethoden des Diffusionsmodells. Als erste Binarisierungsmethode für Diffusionsmodelle erzielt BinaryDM beeindruckende 16,0-fache FLOPS- und 27,1-fache Speichereinsparungen, was seine erheblichen Vorteile und das Potenzial für den Einsatz von Diffusionsmodellen auf Edgehardware zeigt.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Xingyu Zheng... om arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.05662.pdfDiepere vragen