Dieser Artikel präsentiert eine neue Methode namens In-Context-Sampling (ICS), um die Leistung von Großen Sprachmodellen (LLMs) bei wenigen Beispielen zu verbessern.
Die Kernidee ist, dass verschiedene In-Context-Lernprompts (ICL) LLMs unterschiedliches implizites Wissen über eine Aufgabe vermitteln können. Daher schlägt der Artikel vor, mehrere ICL-Prompts zu generieren und die Vorhersagen daraus zu kombinieren, um eine zuverlässigere und genauere Vorhersage zu erhalten.
Der Artikel beschreibt den ICS-Prozess in drei Schritten:
Der Artikel evaluiert ICS auf fünf Datensätzen mit drei LLMs und zeigt, dass ICS die Leistung konsistent verbessern kann, insbesondere für die Modelle Mistral-7B und Mixtral-8x7B. Darüber hinaus untersucht der Artikel drei datenbasierte ICS-Strategien, die die Leistung weiter steigern können.
Insgesamt demonstriert der Artikel, dass ICS ein vielversprechender Ansatz ist, um die Fähigkeiten von LLMs bei Aufgaben mit wenigen Beispielen besser auszuschöpfen, was für viele Anwendungen in der Praxis relevant sein kann.
Іншою мовою
із вихідного контенту
arxiv.org
Ключові висновки, отримані з
by Bingsheng Ya... о arxiv.org 04-03-2024
https://arxiv.org/pdf/2311.09782.pdfГлибші Запити