Conceitos Básicos
Durch den Einsatz großer Sprachmodelle zur automatischen Generierung von Sitzungsdaten kann die Leistung konversationeller Suchmethoden deutlich verbessert werden.
Resumo
In diesem Artikel wird ein Framework namens ConvSDG vorgestellt, das die leistungsfähigen Textgenerierungsfähigkeiten großer Sprachmodelle nutzt, um Sitzungsdaten für die konversationelle Suche automatisch zu erzeugen. Das Framework umfasst zwei Ansätze:
Dialogbasierte Sitzungsgenerierung: Hier wird das gesamte Gespräch auf Basis einer Themenbeschreibung auf einmal generiert, um die Kohärenz zwischen den einzelnen Gesprächsrunden sicherzustellen. Da keine manuellen Relevanzurteile vorliegen, werden Pseudo-Relevanz-Rückmeldungen verwendet, um Supervisionssignale für das Training zu erzeugen.
Abfragebasierte Erweiterung: Wenn manuelle Relevanzurteile vorhanden sind, werden die ursprünglichen Abfragen umformuliert, um die Vielfalt der Sitzungen zu erhöhen. Die generierten Abfragen werden dann mit den vorhandenen Relevanzurteilen kombiniert, um das konversationelle dichte Retrieval im semi-überwachten Lernmodus zu verfeinern.
Umfangreiche Experimente auf vier weit verbreiteten Datensätzen für konversationelle Suche zeigen, dass ConvSDG die Leistung im Vergleich zu manuell erstellten Datensätzen deutlich verbessern kann, sowohl im unüberwachten als auch im semi-überwachten Lernmodus.
Estatísticas
Die Verwendung von nur der aktuellen Abfrage und der dazugehörigen generierten Antwort als Eingabe für die Pseudo-Relevanz-Rückmeldung führt zu besseren Ergebnissen als die Verwendung des gesamten Gesprächskontexts.
Der Einbezug der Themenbeschreibung in die Generierung verbessert die Leistung zusätzlich.
Je mehr generierte Daten verwendet werden, desto höher ist die Leistung im unüberwachten Lernmodus. Im semi-überwachten Modus ist eine ausreichende Menge an generierten Daten erforderlich, um die Leistung zu verbessern.
Citações
"Durch den Einsatz großer Sprachmodelle zur automatischen Generierung von Sitzungsdaten kann die Leistung konversationeller Suchmethoden deutlich verbessert werden."
"Je mehr generierte Daten verwendet werden, desto höher ist die Leistung im unüberwachten Lernmodus."