Durch umfassende Erforschung und sorgfältige Experimente zu Spiking-Lottery-Tickets (SLTs) in verschiedenen dichten Strukturen werden zwei signifikante Sparse-Belohnungen erzielt. Darüber hinaus wird ein auf Spiking-Transformatoren zugeschnittener Sparse-Algorithmus vorgeschlagen, der Multi-Level-Sparsität erreicht und extreme Sparsität bei nur geringem Leistungsrückgang ermöglicht.
SpikeNAS, ein neuartiges Rahmenwerk für eine schnelle speicher-bewusste neuronale Architektursuche, findet schnell eine geeignete Spiking-Neuronale-Netzwerk-Architektur mit hoher Genauigkeit unter gegebenen Speicherbudgets für autonome mobile Agenten.
Eine neuartige Dual Spike Self-Attention-Mechanismus (DSSA) wird vorgestellt, der vollständig spike-basiert ist und mit Spiking-Neuronalen-Netzwerken kompatibel ist. Basierend auf DSSA wird eine neue Spiking-Transformer-Architektur namens SpikingResformer entwickelt, die die Vorteile von ResNet-basierten Architekturen und Transformer-Strukturen kombiniert, um eine höhere Genauigkeit, geringeren Energieverbrauch und weniger Parameter zu erreichen.