Effiziente und energiesparende Spiking-Neuronale-Netzwerke durch Erforschung von Lottery-Tickets
Durch umfassende Erforschung und sorgfältige Experimente zu Spiking-Lottery-Tickets (SLTs) in verschiedenen dichten Strukturen werden zwei signifikante Sparse-Belohnungen erzielt. Darüber hinaus wird ein auf Spiking-Transformatoren zugeschnittener Sparse-Algorithmus vorgeschlagen, der Multi-Level-Sparsität erreicht und extreme Sparsität bei nur geringem Leistungsrückgang ermöglicht.
Effiziente und schnelle Suche nach einer geeigneten Spiking-Neuronalen-Netzwerk-Architektur für autonome mobile Agenten
SpikeNAS, ein neuartiges Rahmenwerk für eine schnelle speicher-bewusste neuronale Architektursuche, findet schnell eine geeignete Spiking-Neuronale-Netzwerk-Architektur mit hoher Genauigkeit unter gegebenen Speicherbudgets für autonome mobile Agenten.
Hochleistungsfähige und energieeffiziente Spiking-Neuronale-Netzwerke durch Kombination von ResNet und Vision Transformer
Eine neuartige Dual Spike Self-Attention-Mechanismus (DSSA) wird vorgestellt, der vollständig spike-basiert ist und mit Spiking-Neuronalen-Netzwerken kompatibel ist. Basierend auf DSSA wird eine neue Spiking-Transformer-Architektur namens SpikingResformer entwickelt, die die Vorteile von ResNet-basierten Architekturen und Transformer-Strukturen kombiniert, um eine höhere Genauigkeit, geringeren Energieverbrauch und weniger Parameter zu erreichen.
© 2024 by Linnk AI