Die Studie untersucht, wie kontrastives Prompting (CP) die Fähigkeiten großer Sprachmodelle (LLMs) zur komplexen Schlussfolgerung signifikant verbessern kann. Die Autoren zeigen, dass LLMs gute kontrastive Denker sind, indem sie einfach "Lass uns eine richtige und eine falsche Antwort geben" vor den Antworten der LLMs hinzufügen. Experimente mit zwei großen Sprachmodellen zeigen, dass nullstelliges kontrastives Prompting die Leistung bei einer Reihe von Rechen-, Allgemeinwissens- und symbolischen Reasoning-Aufgaben ohne handgefertigte Beispiele für wenige Schüsse verbessert, wie z.B. eine Steigerung der Genauigkeit auf GSM8K von 35,9% auf 88,8% und auf AQUA-RAT von 41,3% auf 62,2% mit dem state-of-the-art GPT-4-Modell. Die Methode übertrifft nicht nur nullstelliges CoT und wenige Schüsse CoT in den meisten Rechen- und Allgemeinwissens-Reasoning-Aufgaben, sondern kann auch nahtlos mit bestehenden Prompting-Methoden integriert werden, was zu verbesserten oder vergleichbaren Ergebnissen im Vergleich zu state-of-the-art-Methoden führt.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Liang Yao alle arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08211.pdfDomande più approfondite