Die Studie führt Gated Chemical Units (GCUs) ein, eine neue Art von rekurrenten Einheiten, die eine formale Verbindung zwischen biologischen Neuronenmodellen und gated rekurrenten neuronalen Netzen herstellen.
Zunächst wird das Modell der gesättigten elektrischen Äquivalenzschaltungen (EECs) für biologische Neuronen mit chemischen Synapsen erläutert. Dieses Modell beschreibt das Verhalten von Neuronen durch gewöhnliche Differentialgleichungen (ODEs).
Um die Starre der EECs zu reduzieren, wird ein neuer Zeitgate (TG) eingeführt, der die optimale Zeitschrittweite für jedes Neuron und jeden Integrationsschritt lernt. Dieser TG entspricht dem Vergessens-Gate (FG) in traditionellen gated rekurrenten Einheiten. Dadurch können die traditionellen gated RNNs als verschiedene Instanzen neuronaler ODEs dargestellt werden, bei denen das FG dem TG entspricht.
Weiterhin zeigt die Studie, dass im Kontext der GCUs das FG tatsächlich einem separaten und distinktiven Gate entspricht, das die flüssige Zeitkonstante der GCUs erfasst.
Die experimentellen Ergebnisse auf einer Reihe von Benchmarks zeigen, dass GCUs sehr wettbewerbsfähige Ergebnisse im Vergleich zu traditionellen gated RNNs erzielen. GCUs bieten somit eine robuste, interpretierbare und formal biologisch fundierte Alternative zu gängigen rekurrenten Netzwerken.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Móni... alle arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.08791.pdfDomande più approfondite