Conceitos Básicos
Eine prompt-basierte Pseudo-Labeling-Strategie mit LLMs, die genauere Pseudo-Labels auswählt als die alleinige Verwendung der Klassifikatorwahrscheinlichkeiten.
Resumo
Der Artikel beschreibt eine Methode für semi-überwachtes extraktives Zusammenfassen von Texten. Die Kernpunkte sind:
- Trainieren eines Basismodells (PreSumm) auf einer begrenzten Menge an Trainingsdaten.
- Generieren von Pseudo-Labels für ungelabelte Daten mit dem Basismodell und Auswählen der 50 besten Pseudo-Labels basierend auf der Modellkonfidenz.
- Verwenden eines großen Sprachmodells (GPT-4) zum Relabeln der 50 Pseudo-Labels und Bewerten der Qualität.
- Auswählen der 5 besten Pseudo-Labels basierend auf dem GPT-4-Score und Hinzufügen zu den Trainingsdaten für den nächsten Trainingszyklus.
- Wiederholen der Schritte 1-4 für mehrere Zyklen, um das Basismodell schrittweise zu verbessern.
Die Autoren zeigen, dass diese Methode die Leistung eines Standard-Teacher-Student-Ansatzes deutlich verbessert und mit einem vollständig überwachten Modell vergleichbare Ergebnisse erzielt, aber nur 1/6 der Trainingsdaten verwendet.
Estatísticas
Die Zusammenfassungen sollten idealerweise weniger als k Sätze umfassen.
Die Zusammenfassung sollte die Schlüsselpunkte des Eingangstextes erfassen, ohne auf Nebendetails zu achten.
Die Zusammenfassung sollte extraktiv sein, d.h. direkt aus dem Text übernommen werden, ohne Änderungen oder Entfernung von Symbolen.
Die Antwort sollte nur die numerische Bewertung enthalten.
Citações
Keine relevanten Zitate gefunden.