Der REFLECTSUMM-Datensatz umfasst 17.512 Reflexionen von Studierenden zu 782 Vorlesungen aus 24 großen MINT-Kursen. Der Datensatz bietet drei Arten von Referenzzusammenfassungen: extraktiv, abstrakt und phrasenbasiert. Zusätzlich enthält der Datensatz wertvolle Metadaten wie Spezifizitätsbewertungen der Reflexionen und demografische Informationen der Studierenden.
Die Autoren führen umfangreiche Evaluierungen mit mehreren State-of-the-Art-Baselines durch, um Benchmarks für die weitere Forschung in diesem Bereich zu schaffen. Die Ergebnisse zeigen, dass die Leistung der Modelle je nach Zusammenfassungsaufgabe (extraktiv, phrasenbasiert, abstrakt) variiert. Die Autoren untersuchen auch, wie die bereitgestellten Metadaten, insbesondere die Spezifizitätsinformationen, die Zusammenfassungsleistung verbessern können. Darüber hinaus diskutieren sie, wie die demografischen Informationen weitere Forschung zur Fairness und Unvoreingenommenheit in der Zusammenfassungsforschung unterstützen können.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések