R2E ist ein Ansatz zur Erstellung erklärbarer Sprachmodellvorhersagen. Das Modell verwendet einen zweistufigen Ansatz, bei dem zunächst die relevantesten Belege aus einem Dokumentenkorpus abgerufen werden und dann eine Bewertung der möglichen Antworten auf der Grundlage dieser Belege erfolgt.
Der Retriever-Teil des Modells verwendet ein vortrainiertes Sprachmodell, um die Ähnlichkeit zwischen der Benutzeranfrage und den Dokumenten im Korpus zu bewerten. Die relevantesten Belege für jede mögliche Antwort werden dann an den Reasoner-Teil weitergeleitet.
Der Reasoner-Teil kombiniert die Benutzeranfrage und die zugehörigen Belege, um eine Bewertung für jede mögliche Antwort zu generieren. Dabei werden Shapley-Werte verwendet, um die Beiträge der einzelnen Belege zur Gesamtvorhersage zu erklären.
R2E wurde auf drei Datensätzen evaluiert, die mit der Identifizierung von Arzneimittelzielen in Verbindung stehen:
Zurückgehaltene biomedizinische Literatur: R2E zeigte eine bessere Leistung als die Basislinien bei der Vorhersage von in der Literatur erwähnten Genen.
Genbeschreibungsfakten: R2E erzielte deutlich bessere Ergebnisse als die Basislinien bei der Vorhersage von Genen auf der Grundlage von Beschreibungen ihrer Funktionen.
Ergebnisse klinischer Studien: R2E übertraf einen branchenüblichen Genetik-basierten Ansatz bei der Vorhersage des Erfolgs oder Misserfolgs klinischer Studien.
Darüber hinaus zeigten die Shapley-Wert-Erklärungen eine starke Korrelation mit der Relevanz der Belege, die von einem GPT-4-Modell bewertet wurden. Dies deutet darauf hin, dass die Erklärungen des Modells mit der Einschätzung menschlicher Experten übereinstimmen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Ravi Patel,A... at arxiv.org 03-20-2024
https://arxiv.org/pdf/2402.04068.pdfDeeper Inquiries