Dieser Artikel stellt ein fortschrittliches rekursives Multi-Hop-Retrieval-System für dichte Sätze (M3) vor, das auf einem neuartigen Multi-Task-Mixed-Objective-Ansatz für das Lernen von dichten Textdarstellungen basiert.
Das System besteht aus mehreren Komponenten:
Dichtes Satzretrieval (M3-DSR): Ein Dual-Encoder-Modell, das mit Multi-Task-Lernen und gemischten Zielfunktionen trainiert wird, um bessere dichte Satzdarstellungen zu lernen. Dies überwindet Probleme, die mit rein kontrastivem Lernen verbunden sind.
Satzreihung (M3-SSR): Ein Satzpaar-Klassifikationsmodell, das die Top-Retrieval-Ergebnisse weiter verfeinert.
Hybrides Ranking: Ein dynamischer Algorithmus, der die Ergebnisse des einschrittigen und mehrstufigen Retrievals kombiniert, um die Gesamtrechercheleistung zu maximieren.
Das M3-System erzielt Spitzenleistungen bei der Faktenüberprüfung auf dem FEVER-Benchmark-Datensatz, sowohl bei der Retrieval-Leistung als auch bei der Genauigkeit der Schlussfolgerungen.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Yang Bai,Ant... ב- arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14074.pdfשאלות מעמיקות