Die Studie untersucht das Auftreten von 1/f-Rauschen, auch als "rosa Rauschen" bekannt, in tiefen neuronalen Netzwerken, insbesondere in Long Short-Term Memory (LSTM)-Netzwerken. 1/f-Rauschen ist ein gut etabliertes Phänomen in biologischen neuronalen Netzwerken und wird als wichtig für die Informationsverarbeitung im Gehirn angesehen.
Die Autoren trainierten LSTM-Netzwerke auf dem IMDb-Datensatz für Sentimentanalyse von Filmrezensionen und analysierten die Aktivierungen der Neuronen. Die Detrended Fluctuation Analysis (DFA) der Zeitreihen der Neuronenaktivierungen zeigte ein deutliches 1/f-Muster, das in den Eingangsdaten nicht vorhanden war.
Interessanterweise wichen die Aktivierungsmuster von 1/f-Rauschen ab und näherten sich weißem Rauschen an, wenn das neuronale Netzwerk überdimensioniert war, also mehr Neuronen hatte, als für die Lernaufgabe erforderlich waren. Dies lag daran, dass viele Neuronen nicht effektiv genutzt wurden und bei Eingabe von Daten nur geringe Schwankungen zeigten.
Die Autoren untersuchten auch die Exponenten des 1/f-Rauschens in "internen" und "externen" Aktivierungen in der LSTM-Zelle und fanden Ähnlichkeiten zu Variationen der Exponenten in fMRT-Signalen des menschlichen Gehirns.
Die Ergebnisse unterstützen die Hypothese, dass 1/f-Rauschen ein Kennzeichen optimalen Lernens ist. Da tiefe Lernmodelle in bestimmten Aufgaben die menschliche Leistung erreichen oder übertreffen und experimentell besser zugänglich sind als ihre biologischen Pendants, sind sie gute Kandidaten, um die grundlegenden Ursachen von 1/f-Rauschen zu verstehen.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Nicholas Cho... alle arxiv.org 04-02-2024
https://arxiv.org/pdf/2301.08530.pdfDomande più approfondite