核心概念
CrisisTransformers sind leistungsfähige Sprachmodelle und Satzkodierer, die speziell für die Verarbeitung von krisenbezogenen Social-Media-Texten entwickelt wurden. Sie übertreffen bestehende Modelle in Klassifizierungs- und Satzenkodierungsaufgaben.
要約
Die Studie stellt CrisisTransformers vor, eine Sammlung von Sprachmodellen und Satzkodierer, die speziell für die Verarbeitung von krisenbezogenen Social-Media-Texten entwickelt wurden.
Zentrale Erkenntnisse:
- CrisisTransformers wurden auf einem umfangreichen Korpus von über 15 Milliarden Wörtern aus Tweets zu über 30 Krisenereignissen trainiert.
- Die CrisisTransformers-Modelle übertreffen bestehende Modelle wie BERT, RoBERTa und BERTweet in Klassifizierungsaufgaben über 18 krisenbezogene Datensätze hinweg.
- Die CrisisTransformers-Satzkodierer erzielen eine um 17,43% höhere semantische Ähnlichkeit innerhalb von Klassen im Vergleich zum aktuellen Stand der Technik.
- Die Ergebnisse zeigen, dass domänenspezifisches Vortraining zu leistungsfähigeren Modellen führt, die die linguistischen Nuancen und informellen Strukturen in Krisenkontexten besser erfassen können.
統計
Das Trainingskorpus umfasst über 15 Milliarden Wörter aus Tweets zu über 30 verschiedenen Krisenereignissen.
Die CrisisTransformers-Modelle wurden auf 6 NVIDIA A100 GPUs über einen Zeitraum von 2 Monaten trainiert.
引用
"CrisisTransformers, an ensemble of pre-trained language models and sentence encoders trained on an extensive corpus of over 15 billion word tokens from tweets associated with more than 30 crisis events, including disease outbreaks, natural disasters, conflicts, and other critical incidents."
"Our pre-trained models outperform strong baselines across all 18 crisis-specific public datasets in classification tasks, and our best-performing sentence encoder improves the state-of-the-art by 17.43% in sentence encoding tasks."