Der Artikel stellt einen Ansatz namens "Quiet-STaR" vor, bei dem Sprachmodelle lernen, interne Überlegungen ("Gedanken") zu generieren, um ihre Vorhersagen zukünftiger Texte zu verbessern.
Der Kerngedanke ist, dass viel der Bedeutung eines Textes zwischen den Zeilen liegt und Sprachmodelle davon profitieren können, wenn sie diese impliziten Überlegungen lernen.
Quiet-STaR erweitert den "Self-Taught Reasoner" (STaR), indem es Sprachmodelle dazu bringt, Überlegungen für beliebige Textdaten, nicht nur für vordefinierte Aufgaben, zu generieren.
Die Autoren adressieren dabei Herausforderungen wie die hohen Rechenkosten, das Erlernen der Generierung und Nutzung interner Überlegungen sowie die Vorhersage über einzelne Tokens hinaus.
Sie zeigen, dass die generierten Überlegungen überproportional Hilfe bei schwer vorhersagbaren Tokens leisten und die Fähigkeit des Sprachmodells verbessern, schwierige Fragen direkt zu beantworten. Dies führt zu Verbesserungen auf GSM8K (5,9% → 10,9%) und CommonsenseQA (36,3% → 47,2%) ohne weitere Feinabstimmung.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies