Die Studie untersucht die inhärenten Eigenschaften von Spiking-Lottery-Tickets (SLTs) in verschiedenen Strukturen, einschließlich CNN-basierten Modellen und Transformer-basierten Modellen, und vergleicht ihre Leistung mit den ursprünglichen Lottery-Tickets (LTs) über RGB- und ereignisbasierte Datensätze.
Für CNN-basierte Modelle wird die Multi-Prize-Lottery-Tickets-Hypothese zur Gewinnung optimaler Teilnetzwerke verwendet und der binarisierte Zustand detailliert untersucht. Für Transformer-basierte Modelle wird untersucht, wie extreme Sparsität die Leistung beeinflusst, indem Parameter-Ebenen- und Patch-Ebenen-Sparsität-Methoden integriert werden, und es wird eine ausführliche Diskussion über die Balance zwischen den verschiedenen Sparsitäten geführt.
Nach dem Erhalt der resultierenden sparsamen und energieeffizienten Netzwerke können zwei distinkte Belohnungen erzielt werden, die von Vorteil für die Implementierung in ressourcenbeschränkten Anwendungen sind:
Umfangreiche Experimente auf RGB-Datensätzen und ereignisbasierten Datensätzen zeigen, dass unsere SLTs die Standard-LTs um bis zu 4,58% übertreffen, während sie extreme Energieeinsparungen (>80,0%) erzielen.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies