Core Concepts
Eine biologisch plausible, aufmerksamkeitsbasierte Modulationsstrategie, die Klassifikationsmerkmale durch visuelle Salienz reguliert, um das Vergessen effektiv zu reduzieren.
Abstract
Der Artikel präsentiert SAM, eine biologisch inspirierte, selektive aufmerksamkeitsgesteuerte Modulationsstrategie für das kontinuierliche Online-Lernen. SAM nutzt visuelle Salienz, um Klassifikationsmerkmale zu regulieren und so das Vergessen effektiv zu reduzieren.
Die Kernpunkte sind:
SAM basiert auf neurophysiologischen Erkenntnissen, wonach die Feuerrate von Neuronen durch Aufmerksamkeit moduliert wird.
SAM kombiniert ein Salienzvorhersage-Netzwerk mit einem Klassifikationsnetzwerk, wobei die Salienzmerkmale die Klassifikationsmerkmale in mehreren Schichten des Netzwerks modulieren.
Experimente zeigen, dass SAM die Leistung state-of-the-art-Methoden für kontinuierliches Lernen deutlich verbessert (bis zu 20 Prozentpunkte).
SAM führt zu robusteren Merkmalen, die weniger anfällig für Störfaktoren und Angriffe sind.
Die Ergebnisse bestätigen, dass die Anpassung neurophysiologischer Prozesse an maschinelle Lernverfahren ein vielversprechender Weg ist, um die Lücke zwischen Mensch und Maschine zu schließen.
Stats
Die Ähnlichkeitsmetrik für Salienzvorhersage verbessert sich kontinuierlich über die Aufgaben hinweg, während die Klassifikationsgenauigkeit abfällt.
Die Anwendung von SAM auf verschiedene Methoden für kontinuierliches Lernen führt zu Genauigkeitssteigerungen von bis zu 20 Prozentpunkten.
SAM erhöht die Robustheit gegenüber Störfaktoren und Angriffen deutlich im Vergleich zu Baseline-Methoden.
Quotes
"Neurophysiologische Studien [8,9] stimmen weitgehend darin überein, dass die an den primären Sehrindenbereich V1 übermittelten Objektmanifolds genauso verworren sind wie der Pixelraum."
"Jüngste Erkenntnisse der kognitiven Neurowissenschaft haben gezeigt, dass die visuellen Aufmerksamkeitsprioritäten unserer menschlichen Jäger-und-Sammler-Vorfahren noch immer im modernen Gehirn verankert sind [11]: Menschen richten ihre Aufmerksamkeit schneller auf Tiere als auf Fahrzeuge, obwohl wir heute mehr Fahrzeuge als Tiere sehen."