แนวคิดหลัก
Wir präsentieren RA-Rec, ein effizientes ID-Repräsentations-Ausrichtungsframework für empfehlungsbasierte Großsprachmodelle, das die Lücke zwischen ID-Repräsentationen und Großsprachmodellen überbrückt und eine effiziente Anpassung ermöglicht.
บทคัดย่อ
Der Artikel stellt ein neues Paradigma vor, das ID-Repräsentationen, die aus Nutzer-Artikel-Interaktionen gelernt wurden, in Großsprachmodelle (LLMs) integriert. Dies adressiert die Schwächen bestehender Ansätze, die entweder ID-Nummern direkt verwenden oder ID-Informationen in Textform übersetzen.
Das vorgeschlagene RA-Rec-Framework umfasst drei Hauptinnovationen:
- Eine hybride Prompt-Konstruktion, die sowohl weiche Prompts (ID-Repräsentationen) als auch harte Prompts (textuelle Aufgabenbeschreibung) kombiniert.
- Ein Repräsentations-Ausrichtungsmodul, das die Lücke zwischen ID-Repräsentationen und LLMs überbrückt.
- Eine effiziente Feinabstimmungsmethode, die eine schnelle Anpassung mit minimalem Daten- und Zeitaufwand ermöglicht.
Die Experimente zeigen, dass RA-Rec die Leistung bestehender Methoden deutlich übertrifft und bis zu 3,0% absolute Verbesserung bei HitRate@100 erzielt, bei weniger als 10-facher Trainingsdatenmenge.
สถิติ
Die Empfehlungssysteme spielen eine wesentliche Rolle im Online-Leben der Menschen, indem sie Informationsüberlastung reduzieren und Nutzern relevante Inhalte empfehlen.
Großsprachmodelle (LLMs) haben beeindruckende Fähigkeiten in einer Vielzahl von NLP-Aufgaben gezeigt und bieten großes Potenzial für intelligentere Empfehlungen.
Bestehende Ansätze für LLM-basierte Empfehlungssysteme können in zwei Paradigmen eingeteilt werden: ID-Direktnutzung und ID-Übersetzung, die jeweils Schwächen aufweisen.
คำพูด
"Recommendation systems (RS) play an essential role in people's online lives by reducing information overload and providing users with relevant content such as news and social connections."
"Recently, Large language models (LLM) have shown impressive compositional and reasoning abilities in a variety of NLP tasks, demonstrating great potential for more intelligent recommendations."