Der Artikel stellt FLOWERFORMER, ein neuartiges Graphentransformer-Modell, vor, das entwickelt wurde, um die Informationsflüsse innerhalb neuronaler Architekturen zu erfassen. FLOWERFORMER besteht aus zwei Kernmodulen:
Das Flow Encode Modul führt ein bidirektionales asynchrones Nachrichtenübermittlungsverfahren durch, das den Vorwärts- und Rückwärtspropagationen innerhalb der Eingabearchitektur nachempfunden ist.
Das Flow-aware Global Attention Modul wendet eine globale Aufmerksamkeitsmechanik an, die auf einem flussbasierten Maskierungsschema basiert.
Die umfangreichen Experimente auf fünf Benchmark-Datensätzen zeigen, dass FLOWERFORMER die Leistungsvorhersage für Computervisions-, Graphneuronale-Netzwerk- und Spracherkennung-Architekturen deutlich verbessert. Im Vergleich zu sechs Baseline-Methoden, einschließlich der neuesten Ansätze, erzielt FLOWERFORMER Verbesserungen von bis zu 4,38 Prozentpunkten in Kendall's Tau.
Die Ablationsstudien bestätigen die Wirksamkeit der einzelnen Komponenten von FLOWERFORMER. Darüber hinaus ist FLOWERFORMER im Vergleich zu den Baseline-Methoden deutlich effizienter bei Training und Inferenz.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Dongyeong Hw... klokken arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12821.pdfDypere Spørsmål