Core Concepts
Chinesische medizinische Sprachmodelle haben noch viel Raum für Verbesserungen bei der Speicherung von selbstdiagnostischen atomaren Kenntnissen. Destillierte Daten verbessern die Speicherung medizinischen Wissens effektiver als reale Arzt-Patienten-Gespräche.
Abstract
Die Studie untersucht die Fähigkeit chinesischer medizinischer Sprachmodelle, selbstdiagnostische atomare Kenntnisse zu speichern und zu verarbeiten. Dafür wurde ein Benchmark namens "Self-Diagnostic Atomic Knowledge" (SDAK) entwickelt, der 14.048 atomare Wissenselemente aus 17 Kategorien enthält.
Die Ergebnisse zeigen, dass die untersuchten Modelle, darunter GPT-4 sowie verschiedene chinesische medizinische Sprachmodelle, noch Verbesserungspotenzial haben. GPT-4 schneidet zwar besser ab als die chinesischen Modelle, hat aber Schwächen bei spezialisierten medizinischen Themen.
Die Fehleranalyse zeigt, dass "Sycophanz" (unkritisches Zustimmen) ein Hauptproblem darstellt. Außerdem wurde festgestellt, dass Modelle, die mit destillierten Daten aus fortgeschrittenen Sprachmodellen wie ChatGPT trainiert wurden, medizinisches Wissen besser speichern können als Modelle, die nur auf realen Arzt-Patienten-Gesprächen trainiert wurden. Dies wird darauf zurückgeführt, dass Ärzte in realen Gesprächen medizinisches Wissen oft nicht ausführlich erklären.
Die Studie liefert wichtige Erkenntnisse für die Weiterentwicklung chinesischer medizinischer Sprachmodelle.
Stats
Die Symptome des Schwanzkopfkrebses (nicht) umfassen Bauchschmerzen.
Kehlkopfzysten sind (nicht) ansteckend.
Die üblichen Abteilungen für Psoriasis-Arthritis umfassen (nicht) die Dermatologie.
Zu den üblichen Behandlungsmethoden für Prolaktinome gehört (nicht) die Strahlentherapie.
Zu den üblichen Medikamenten bei Stomatitis gehört (nicht) Metformin.
Quotes
"Chinesische medizinische Sprachmodelle haben noch viel Raum für Verbesserungen bei der Speicherung von selbstdiagnostischen atomaren Kenntnissen."
"Destillierte Daten verbessern die Speicherung medizinischen Wissens effektiver als reale Arzt-Patienten-Gespräche."