Dieser Artikel präsentiert eine neue Methode namens In-Context-Sampling (ICS), um die Leistung von Großen Sprachmodellen (LLMs) bei wenigen Beispielen zu verbessern.
Die Kernidee ist, dass verschiedene In-Context-Lernprompts (ICL) LLMs unterschiedliches implizites Wissen über eine Aufgabe vermitteln können. Daher schlägt der Artikel vor, mehrere ICL-Prompts zu generieren und die Vorhersagen daraus zu kombinieren, um eine zuverlässigere und genauere Vorhersage zu erhalten.
Der Artikel beschreibt den ICS-Prozess in drei Schritten:
Der Artikel evaluiert ICS auf fünf Datensätzen mit drei LLMs und zeigt, dass ICS die Leistung konsistent verbessern kann, insbesondere für die Modelle Mistral-7B und Mixtral-8x7B. Darüber hinaus untersucht der Artikel drei datenbasierte ICS-Strategien, die die Leistung weiter steigern können.
Insgesamt demonstriert der Artikel, dass ICS ein vielversprechender Ansatz ist, um die Fähigkeiten von LLMs bei Aufgaben mit wenigen Beispielen besser auszuschöpfen, was für viele Anwendungen in der Praxis relevant sein kann.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Bingsheng Ya... في arxiv.org 04-03-2024
https://arxiv.org/pdf/2311.09782.pdfاستفسارات أعمق