Alapfogalmak
Eine neuartige Methode zur effizienten Nutzung aller verfügbaren Beispiele für das In-Context-Lerning, ohne die Länge des Eingabekontexts zu überschreiten.
Kivonat
Die Studie führt zwei einleitende Experimente durch, um Schlüsselfaktoren für das effektive Nutzen von Beispielen beim In-Context-Lernen zu identifizieren. Die Ergebnisse zeigen, dass die Leistung des In-Context-Lernens sowohl von der Anzahl der Beispiele als auch von deren Kombination abhängt.
Um die Vorteile beider Aspekte zu kombinieren, stellt die Studie eine neue Methode namens "Paralleles In-Context-Lernen" (ParaICL) vor. ParaICL verteilt die Beispiele in Batches basierend auf deren semantischer Ähnlichkeit zum Testbeispiel, um die Kontextlänge zu begrenzen. Anschließend wird eine gewichtete durchschnittliche semantische Zielfunktion unter Berücksichtigung einer adaptiven Plausibilitätseinschränkung verwendet, um die endgültige Tokenauswahl zu optimieren.
Die Studie präsentiert umfangreiche Experimente auf verschiedenen Aufgaben, die die Effektivität von ParaICL belegen. Darüber hinaus werden Ablationsstudien durchgeführt, um die Designentscheidungen zu rechtfertigen, und es wird gezeigt, wie ParaICL mit anderen Methoden kombiniert werden kann.
Statisztikák
Die Leistung des In-Context-Lernens hängt nicht konsistent von der Anzahl der Beispiele ab.
Unterschiedliche Kombinationen von Beispielen können die Genauigkeit über verschiedene Testbeispiele hinweg deutlich verbessern.
Idézetek
"Unsere vorläufigen Experimente zeigen, dass die Effektivität des In-Context-Lernens durch die Länge des Eingabekontexts begrenzt ist."
"Verschiedene Kombinationen von Beispielen für das In-Context-Lernen können die Genauigkeit über verschiedene Testbeispiele hinweg signifikant verbessern."