Repräsentation hierarchischer Konzepte durch mehrere Neuronen in Spiking-Neuronalen-Netzwerken
Hierarchische Konzepte können in drei Arten von geschichteten neuronalen Netzwerken durch mehrere repräsentierende Neuronen dargestellt werden, um die Erkennung der Konzepte bei partieller Information und Ausfällen von Neuronen zu unterstützen.
Tensor-Zerlegungsbasiertes Aufmerksamkeitsmodul für Spiking-Neuronale-Netzwerke
Das vorgeschlagene Projected-Full Attention (PFA)-Modul kann Aufmerksamkeitskarten mit einer flexiblen Rangzahl erzeugen, im Gegensatz zu früheren Methoden, die auf Rang-1-Aufmerksamkeitskarten beschränkt sind. Außerdem wächst die Parameteranzahl von PFA linear mit der Datenskala und der Rechenaufwand entspricht dem einer einzelnen Standard-Konvolutionsschicht.
Ein generischer, gemeinsam genutzter Aufmerksamkeitsmechanismus für verschiedene Backbone-Neuronale Netzwerke
Der gemeinsam genutzte Aufmerksamkeitsmechanismus kann die Leistung verschiedener Backbone-Neuronaler Netzwerke konsistent verbessern, indem er die Parameternutzung effizienter gestaltet und stabile Netzwerktrainings ermöglicht.
Effizientes Lernen mit Spike-Neuronalen-Netzwerken mit affinen Encodern und Decodern
Spike-Neuronale-Netzwerke mit positiven Gewichten und affinen Encodern/Decodern können viele Approximationsergebnisse von Feedforward-Neuronalen-Netzwerken reproduzieren und weisen darüber hinaus eine bessere Generalisierungsleistung auf.
Tieferes Verständnis der funktionalen Rollen von Modellkomponenten in Spiking Neural Networks
Die Leakage-Komponente spielt eine entscheidende Rolle bei der Ausgewogenheit zwischen Gedächtniserhalt und Robustheit. Der Reset-Mechanismus ist für eine unterbrechungsfreie zeitliche Verarbeitung und Recheneffizienz unerlässlich. Die Rekurrenz erweitert die Fähigkeit, komplexe Dynamiken zu modellieren, was jedoch auf Kosten der Robustheit geht.
Leistungsfähigkeit von Spiking-Neuronalen-Netzwerken: Vergleich mit künstlichen neuronalen Netzwerken und Analyse der Komplexität
Spiking-Neuronale-Netzwerke (SNNs) können die gleiche Ausdrucksfähigkeit wie künstliche neuronale Netzwerke (ANNs) mit stückweise linearer Aktivierung erreichen, weisen aber auch einzigartige Eigenschaften auf, wie die Fähigkeit, diskontinuierliche Funktionen darzustellen. Darüber hinaus können SNNs mit weniger Recheneinheiten und Schichten komplexe stückweise lineare Funktionen realisieren.
Biologisch inspirierte Gated Chemical Units für effiziente und interpretierbare zeitliche Modellierung
Gated Chemical Units (GCUs) sind eine neue Art von rekurrenten Einheiten, die eine formale Verbindung zwischen biologischen Neuronenmodellen und gated rekurrenten neuronalen Netzen herstellen. GCUs werden systematisch aus elektrischen Äquivalenzschaltungen (EECs) abgeleitet, einem weit verbreiteten Modell in den Neurowissenschaften für biologische Neuronen mit elektrischen und chemischen Synapsen. GCUs führen einen neuen Zeitgate ein, der die optimale Zeitschrittweite für jedes Neuron und jeden Integrationsschritt lernt, was zu einer sehr effizienten und interpretierbaren rekurrenten Einheit führt.
Effiziente gemischte Präzisions-Quantisierung von Gated Recurrent Units unter Verwendung von Genetischen Algorithmen
Wir präsentieren ein modulares Integer-Quantisierungsschema für GRUs, bei dem die Bitbreite jedes Operators unabhängig ausgewählt werden kann. Wir verwenden Genetische Algorithmen, um Pareto-optimale gemischte Präzisions-Quantisierungsschemata zu finden, die Modellgenauigkeit und -größe gleichzeitig optimieren.
Verbesserte Schulungsverfahren für Pointer-Netzwerke durch evolutionäre Algorithmen
Pointer-Netzwerke können effektiver mit evolutionären Algorithmen trainiert werden, was zu verbesserten Lösungen für kombinatorische Optimierungsprobleme führt.
Verbesserung der neuronalen Nützlichkeit in der Sprachverständnis durch vergleichsweise Verlustmodelle
Effiziente Nutzung von Neuronen zur Verbesserung der Modellleistung.
© 2024 by Linnk AI