Die Studie untersucht die Schwierigkeiten, die Große Sprachmodelle (LLMs) bei Ranking-Aufgaben haben, insbesondere bei punktweisen und listweisen Formulierungen. Um diese Herausforderungen zu überwinden, schlagen die Autoren eine neue Technik namens Paarweises Ranking-Aufforderung (PRP) vor.
PRP verwendet eine einfache Aufforderung, bei der das Modell zwei Dokumente in Bezug auf ihre Relevanz zum Abfragetext vergleichen soll. Dies reduziert die Komplexität der Aufgabe für LLMs erheblich und löst das Kalibrierungsproblem.
Die Autoren beschreiben mehrere Varianten von PRP, die unterschiedliche Effizienzaspekte adressieren. Die Ergebnisse zeigen, dass PRP-Varianten, die auf moderaten, öffentlich zugänglichen LLMs basieren, wettbewerbsfähige oder sogar bessere Leistungen als Lösungen erzielen, die auf riesigen, kommerziellen Modellen basieren. PRP übertrifft auch andere LLM-basierte Ansätze deutlich. Darüber hinaus ist PRP robust gegenüber Eingabereihenfolge und funktioniert sowohl mit Generations- als auch mit Scoring-APIs.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Zhen Qin,Rol... um arxiv.org 03-29-2024
https://arxiv.org/pdf/2306.17563.pdfTiefere Fragen