Alapfogalmak
Durch das Augmentieren mehrerer In-Context-Lernprompts können die Vorhersagen von LLMs zuverlässiger und genauer werden, auch bei geringen Ressourcen.
Kivonat
Dieser Artikel präsentiert eine neue Methode namens In-Context-Sampling (ICS), um die Leistung von Großen Sprachmodellen (LLMs) bei wenigen Beispielen zu verbessern.
Die Kernidee ist, dass verschiedene In-Context-Lernprompts (ICL) LLMs unterschiedliches implizites Wissen über eine Aufgabe vermitteln können. Daher schlägt der Artikel vor, mehrere ICL-Prompts zu generieren und die Vorhersagen daraus zu kombinieren, um eine zuverlässigere und genauere Vorhersage zu erhalten.
Der Artikel beschreibt den ICS-Prozess in drei Schritten:
Auswahl repräsentativer Demonstrationsbeispiele
Erstellung verschiedener ICL-Prompts aus den ausgewählten Beispielen und Erfassung der Vorhersagen
Bestimmung der zuversichtlichsten Vorhersage durch Abstimmung
Der Artikel evaluiert ICS auf fünf Datensätzen mit drei LLMs und zeigt, dass ICS die Leistung konsistent verbessern kann, insbesondere für die Modelle Mistral-7B und Mixtral-8x7B. Darüber hinaus untersucht der Artikel drei datenbasierte ICS-Strategien, die die Leistung weiter steigern können.
Insgesamt demonstriert der Artikel, dass ICS ein vielversprechender Ansatz ist, um die Fähigkeiten von LLMs bei Aufgaben mit wenigen Beispielen besser auszuschöpfen, was für viele Anwendungen in der Praxis relevant sein kann.
Statisztikák
Die Genauigkeit von FLAN-T5-XL auf dem Contract-NLI-Datensatz ist extrem schlecht.
ICS kann die Vorhersagegenauigkeit von Mistral-7B um mehr als 9% auf e-SNLI und zweistellig auf Contract-NLI verbessern.
Die Leistungsverbesserung durch ICS-Strategien ist umgekehrt proportional zur Schwierigkeit der Aufgabe.
Idézetek
"Können wir nicht mehrere Prompts zusammen entwerfen und nutzen, um die Leistung von LLMs weiter zu verbessern?"
"Verschiedene ICL-Demonstrationen vermitteln LLMs unterschiedliches implizites Wissen über die Aufgabe, was zu unterschiedlichen Vorhersagen für dieselben Daten führen kann."