Die Studie untersucht ein überraschendes Versagen von Großen Sprachmodellen (LLMs), wenn es darum geht, Fakten in umgekehrter Richtung zu generalisieren, obwohl sie in der Originaldatenrichtung trainiert wurden. Dieses Phänomen wird als "Reversal Curse" bezeichnet.
Um dieses Problem zu lösen, schlagen die Autoren eine Methode namens "Reverse Training" vor. Dabei werden Trainingssequenzen nicht nur in der üblichen Vorwärtsrichtung, sondern auch in umgekehrter Reihenfolge verwendet. Es werden verschiedene Varianten des Reversal-Trainings untersucht, bei denen die Reihenfolge entweder auf Token-, Wort- oder Entitätsebene umgekehrt wird, oder bei denen zufällige Segmente umgekehrt werden.
Die Experimente zeigen, dass das Reversal-Training, insbesondere das Entitäts-erhaltende Reversal, die Leistung auf Reversal-Aufgaben deutlich verbessern kann, ohne die Leistung auf Standardaufgaben zu beeinträchtigen. Sogar bei der Feinabstimmung auf fiktiven Fakten erreicht das Reversal-Training Genauigkeiten von 70-100%, während die Standardmethode komplett versagt.
Darüber hinaus zeigt sich, dass das Reversal-Training bei datengebundenen Szenarien auch die Leistung auf Standardaufgaben verbessern kann, im Vergleich zu einem standardmäßigen Vorwärts-Training mit der gleichen Datenmenge.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Olga Golovne... at arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13799.pdfDeeper Inquiries