Core Concepts
Großsprachmodelle können durch irrelevante Bedingungen in mathematischen Textaufgaben verwirrt werden. Der vorgeschlagene Ansatz I3C instruiert die Modelle, irrelevante Bedingungen zu identifizieren und zu ignorieren, um die Leistung bei der Lösung mathematischer Textaufgaben zu verbessern.
Abstract
Der Artikel stellt einen neuartigen Ansatz namens I3C vor, um Großsprachmodelle (LLMs) anzuleiten, irrelevante Bedingungen in mathematischen Textaufgaben zu identifizieren und zu ignorieren.
Zunächst werden potenzielle irrelevante Bedingungskandidaten identifiziert, die eine schwache semantische Relevanz zur Frage aufweisen. Dann werden die LLMs aufgefordert, die Relevanz dieser Kandidaten zu überprüfen. Schließlich wird eine I3C-Anweisung erstellt, die die LLMs anweist, die identifizierten irrelevanten Bedingungen zu ignorieren.
Die I3C-Anweisung kann zu beliebigen Chain-of-Thought-Prompting-Methoden hinzugefügt werden, um die Verwirrung der LLMs zu vermeiden und die generierten Lösungswege zu verbessern. Darüber hinaus wird I3C-Select entwickelt, das die verwirrendsten Probleme und deren Lösungswege als Demonstrationen auswählt, um die Leistung in wenigen Schritten zu verbessern.
Umfangreiche Experimente auf acht Datensätzen für mathematische Textaufgaben zeigen, dass I3C die Leistung der LLMs deutlich verbessert. Insbesondere übertrifft I3C-Select die State-of-the-Art-Methode Complex-CoT um bis zu 11,7 Prozentpunkte auf herausfordernden Datensätzen.
Stats
Steve ist 5'6" groß.
Steve wächst um 6 Zoll.
Die Größe von Mary beträgt 5 Fuß.
Quotes
"Bestehende Chain-of-Thought-Prompting-Methoden konnten durch irrelevante Bedingungen stark verwirrt werden, was zu einer niedrigen Genauigkeit führte."
"Der vorgeschlagene I3C-Ansatz instruiert LLMs, irrelevante Bedingungen explizit zu identifizieren und zu ignorieren."