Die Studie zeigt, dass große Sprachmodelle (Large Language Models, LLMs) nach Anpassung an klinische Aufgaben in der Lage sind, medizinische Experten bei der Zusammenfassung klinischer Texte zu übertreffen.
Die Forscher untersuchten acht verschiedene LLMs, darunter offene und proprietäre Modelle, für vier unterschiedliche klinische Zusammenfassungsaufgaben: Radiologieberichte, Patientenfragen, Verlaufsprotokolle und Arzt-Patienten-Dialoge. Quantitative Bewertungen mit syntaktischen, semantischen und konzeptuellen NLP-Metriken zeigten Kompromisse zwischen den Modellen und Anpassungsmethoden. Eine klinische Leserstudie mit zehn Ärzten bewertete die Vollständigkeit, Richtigkeit und Prägnanz der Zusammenfassungen. In den meisten Fällen waren die Zusammenfassungen der besten angepassten LLMs entweder gleichwertig (45%) oder überlegen (36%) im Vergleich zu Zusammenfassungen von medizinischen Experten.
Die anschließende Sicherheitsanalyse zeigte Herausforderungen sowohl für LLMs als auch für medizinische Experten auf, indem Fehler mit möglichen medizinischen Schäden in Verbindung gebracht und Arten von fabrizierter Information kategorisiert wurden. Die Forschung liefert Belege dafür, dass LLMs medizinische Experten bei der klinischen Textfassung über mehrere Aufgaben hinweg übertreffen können. Dies legt nahe, dass die Integration von LLMs in klinische Arbeitsabläufe die Dokumentationsbelastung verringern und Klinikern ermöglichen könnte, sich mehr auf die Patientenversorgung zu konzentrieren.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Dave Van Vee... ที่ arxiv.org 04-15-2024
https://arxiv.org/pdf/2309.07430.pdfสอบถามเพิ่มเติม