Core Concepts
Durch den Einsatz von Prompt-Tuning mit großen Sprachmodellen lässt sich die Übertragbarkeit der Extraktion sozialer Determinanten der Gesundheit aus klinischen Texten über Institutionen und Krankheitsdomänen hinweg deutlich verbessern.
Abstract
Diese Studie untersucht die Übertragbarkeit von Prompt-Tuning mit großen Sprachmodellen für die Extraktion sozialer Determinanten der Gesundheit (SDoH) aus klinischen Texten. Dafür wurden zwei Arten von Sprachmodell-Architekturen getestet: encoder-only Modelle (GatorTron) und decoder-only Modelle (GatorTronGPT).
Die Ergebnisse zeigen, dass die decoder-only Modelle mit Prompt-Tuning eine bessere Leistung bei Anwendungen über verschiedene Domänen hinweg erzielen. GatorTronGPT erreichte die besten F1-Werte für beide Datensätze und übertraf die traditionell fein abgestimmten GatorTron-Modelle um 8,9% und 21,8% in einem Szenario über verschiedene Institutionen hinweg sowie um 5,5% und 14,5% in einem Szenario über verschiedene Krankheitsdomänen hinweg.
Die Studie demonstriert die bessere Übertragbarkeit generativer klinischer Sprachmodelle mit Prompt-Tuning für die Extraktion sozialer Determinanten der Gesundheit in Anwendungen über Institutionen und Krankheitsdomänen hinweg.
Stats
Die extrahierten [Entitätstyp_1]-Entitäten sind [Entitäten]; die extrahierten [Entitätstyp_2]-Entitäten sind [Entitäten]; ...
Die Beziehung zwischen [Entität_1] und [Entität_2] ist [Beziehung].
Quotes
"Durch den Einsatz von Prompt-Tuning mit großen Sprachmodellen lässt sich die Übertragbarkeit der Extraktion sozialer Determinanten der Gesundheit aus klinischen Texten über Institutionen und Krankheitsdomänen hinweg deutlich verbessern."
"Decoder-only Modelle mit Prompt-Tuning erzielten eine bessere Leistung bei Anwendungen über verschiedene Domänen hinweg."