Der Artikel untersucht die Ausdrucksfähigkeit von Spiking-Neuronalen-Netzwerken (SNNs) im Vergleich zu künstlichen neuronalen Netzwerken (ANNs) mit stückweise linearer Aktivierung.
Zunächst wird gezeigt, dass SNNs, die auf dem Spike Response Model (SRM) mit linearer Antwortfunktion basieren (LSNNs), stückweise lineare Abbildungen realisieren können. Unter bestimmten Bedingungen sind diese Abbildungen sogar stetig, konkav und monoton steigend.
Es wird bewiesen, dass LSNNs die Realisierung beliebiger (ReLU-)ANNs emulieren können. Dafür werden explizite Komplexitätsschranken für den Aufbau eines äquivalenten LSNN angegeben. Damit können LSNNs jede stückweise lineare Funktion genauso genau approximieren wie tiefe ANNs.
Darüber hinaus zeigt der Artikel, dass LSNNs im Gegensatz zu ReLU-ANNs auch diskontinuierliche Funktionen realisieren können. Außerdem skaliert die maximale Anzahl der linearen Regionen, die ein einschichtiges LSNN erzeugt, exponentiell mit der Eingangsdimension. Daher kann ein flaches LSNN genauso ausdrucksstark sein wie ein tiefes ReLU-Netzwerk in Bezug auf die Anzahl der linearen Regionen.
Abschließend werden obere Schranken für die Komplexität von ReLU-ANNs angegeben, die ein gegebenes einschichtiges LSNN emulieren können. Dies deutet darauf hin, dass SNNs und ANNs unterschiedliche Vorteile bei der Realisierung bestimmter Arten von stückweise linearen Funktionen bieten.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Manjot Singh... lúc arxiv.org 03-18-2024
https://arxiv.org/pdf/2308.08218.pdfYêu cầu sâu hơn