核心概念
Spike-Neuronale-Netzwerke mit positiven Gewichten und affinen Encodern/Decodern können viele Approximationsergebnisse von Feedforward-Neuronalen-Netzwerken reproduzieren und weisen darüber hinaus eine bessere Generalisierungsleistung auf.
要約
Der Artikel untersucht die Lernprobleme im Zusammenhang mit Spike-Neuronalen-Netzwerken (SNNs). Insbesondere werden Hypothesenmengen von SNNs mit affinen zeitlichen Encodern und Decodern sowie einfachen Spike-Neuronen mit nur positiven synaptischen Gewichten betrachtet.
Es wird gezeigt, dass die Positivität der Gewichte weiterhin eine breite Palette an Ausdrucksfähigkeitsresultaten ermöglicht, einschließlich ratenoptimaler Approximation glatter Funktionen oder Approximation ohne Fluch der Dimensionalität. Darüber hinaus wird gezeigt, dass Spike-Neuronale-Netzwerke mit positiven Gewichten kontinuierlich von ihren Parametern abhängen, was klassische Aussagen zur Generalisierung auf der Grundlage von Überdeckungszahlen erleichtert.
Schließlich wird beobachtet, dass aus Sicht der Generalisierung, im Gegensatz zu Feedforward-Neuronalen-Netzwerken oder früheren Ergebnissen für allgemeine Spike-Neuronale-Netzwerke, die Tiefe nur einen geringen bis keinen nachteiligen Einfluss auf die Generalisierungsfähigkeiten hat.
統計
Spike-Neuronale-Netzwerke mit positiven Gewichten können glatte Funktionen mit optimalen Approximationsraten approximieren.
Spike-Neuronale-Netzwerke mit positiven Gewichten können Barron-reguläre Funktionen ohne Fluch der Dimensionalität approximieren.
Die Generalisierungsschranken für Spike-Neuronale-Netzwerke mit positiven Gewichten hängen höchstens logarithmisch von der Tiefe des Netzwerks ab.
引用
"Spike-Neuronale-Netzwerke mit positiven Gewichten sind weiterhin bemerkenswert leistungsfähig."
"Im Gegensatz zur Situation bei Feedforward-Neuronalen-Netzwerken erfordert unsere auf SNNs basierende Konstruktion nur zwei Kompositionen (im Sinne von Spike-Neuronen, die auf die Ausgaben anderer Spike-Neuronen angewendet werden), was einem Feedforward-Neuronalen-Netzwerk mit zwei verdeckten Schichten entsprechen würde."
"Insgesamt beobachten wir, dass die Kapazitätskosten für das Lernen, d.h. die Komplexität der Hypothesenmenge, höchstens logarithmisch von der Tiefe der zugrunde liegenden Spike-Neuronalen-Netzwerke abhängt."