核心概念
Große Sprachmodelle können ihre Verständnisfähigkeiten durch parallele mehrsprachige Eingaben signifikant verbessern.
摘要
Die Studie zeigt, dass große mehrsprachige Sprachmodelle von parallelen mehrsprachigen Eingaben profitieren können. Durch das Übersetzen der Eingabe in mehrere Sprachen und das Kombinieren dieser Übersetzungen mit der Originalingabe (Parallel Input in Multiple Languages, PIM) können die Modelle ihre Verständnisfähigkeiten deutlich verbessern.
Die Experimente umfassen 8 typische Datensätze, 7 Sprachen und 8 state-of-the-art mehrsprachige Sprachmodelle. Die Ergebnisse zeigen, dass (1) mehr Sprachen PIM dabei helfen, die herkömmliche In-Context-Lernung (ICL) weiter zu übertreffen, und (2) sogar Kombinationen, die schlechter als die Baseline-Leistung sind, ebenfalls helfen können.
Darüber hinaus zeigt die Untersuchung der aktivierten Neuronen in den Sprachmodellen ein kontraintuitives, aber interessantes Phänomen. Im Gegensatz zu der gängigen Annahme, dass PIM mehr Neuronen aktivieren würde, um das aus den verschiedenen Sprachen gelernte Wissen zu nutzen, hemmt PIM tatsächlich Neuronen und fördert eine präzisere Neuronenaktivierung, insbesondere wenn mehr Sprachen hinzugefügt werden. Dieses Phänomen stimmt mit der neurowissenschaftlichen Erkenntnis über synaptisches Pruning überein, bei dem weniger genutzte neuronale Verbindungen entfernt werden, die verbleibenden gestärkt werden und so die Intelligenz des Gehirns verbessert wird.
統計資料
Die Ware hat unter 20 Euro gekostet.
Товар стоил менее 20 евро.
La marchandise a coûté moins de 20 euros.
Ціна цього товару становить менше 20 євро.
Questo articolo costa meno di 20 euro.
La mercancía costó menos de 20 euros.
引述
"Große Sprachmodelle können ihre Verständnisfähigkeiten durch parallele mehrsprachige Eingaben signifikant verbessern."
"Im Gegensatz zu der gängigen Annahme, dass PIM mehr Neuronen aktivieren würde, um das aus den verschiedenen Sprachen gelernte Wissen zu nutzen, hemmt PIM tatsächlich Neuronen und fördert eine präzisere Neuronenaktivierung, insbesondere wenn mehr Sprachen hinzugefügt werden."