Die Studie führt Gated Chemical Units (GCUs) ein, eine neue Art von rekurrenten Einheiten, die eine formale Verbindung zwischen biologischen Neuronenmodellen und gated rekurrenten neuronalen Netzen herstellen.
Zunächst wird das Modell der gesättigten elektrischen Äquivalenzschaltungen (EECs) für biologische Neuronen mit chemischen Synapsen erläutert. Dieses Modell beschreibt das Verhalten von Neuronen durch gewöhnliche Differentialgleichungen (ODEs).
Um die Starre der EECs zu reduzieren, wird ein neuer Zeitgate (TG) eingeführt, der die optimale Zeitschrittweite für jedes Neuron und jeden Integrationsschritt lernt. Dieser TG entspricht dem Vergessens-Gate (FG) in traditionellen gated rekurrenten Einheiten. Dadurch können die traditionellen gated RNNs als verschiedene Instanzen neuronaler ODEs dargestellt werden, bei denen das FG dem TG entspricht.
Weiterhin zeigt die Studie, dass im Kontext der GCUs das FG tatsächlich einem separaten und distinktiven Gate entspricht, das die flüssige Zeitkonstante der GCUs erfasst.
Die experimentellen Ergebnisse auf einer Reihe von Benchmarks zeigen, dass GCUs sehr wettbewerbsfähige Ergebnisse im Vergleich zu traditionellen gated RNNs erzielen. GCUs bieten somit eine robuste, interpretierbare und formal biologisch fundierte Alternative zu gängigen rekurrenten Netzwerken.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Móni... : arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.08791.pdfDaha Derin Sorular