Die Studie untersucht die Erkennung von Grenzen zwischen menschlich geschriebenem und maschinell generiertem Text in Texten, die beides enthalten. Die Autoren verwenden den RoFT-Datensatz, der aus kurzen Texten zu verschiedenen Themen besteht, die jeweils mit einer menschlichen Einleitung beginnen und dann von verschiedenen Sprachmodellen fortgesetzt werden.
Die Autoren evaluieren mehrere Ansätze, darunter perplexitätsbasierte Methoden, Klassifikatoren auf Basis der intrinsischen Dimension und einen RoBERTa-basierten Ansatz. Sie analysieren die Vor- und Nachteile dieser Methoden im Hinblick auf Genauigkeit, Übertragbarkeit auf neue Domänen und Modelle sowie Interpretierbarkeit.
Die Ergebnisse zeigen, dass perplexitätsbasierte Klassifikatoren im Allgemeinen am besten abschneiden, insbesondere wenn sie auf Daten trainiert werden, die von ähnlichen Modellen wie dem Zielmodell generiert wurden. Topologische Merkmale erweisen sich als robust gegenüber Domänenverschiebungen, erreichen aber nicht die höchste Genauigkeit. Der RoBERTa-basierte Ansatz ist sehr genau, aber weniger übertragbar.
Die Autoren analysieren auch die Eigenschaften des Datensatzes, die die Leistung der Erkennungsmodelle beeinflussen, wie z.B. Satzlängenverteilungen, Labelverteilungen und Textstruktur. Sie identifizieren Herausforderungen wie die Erkennung von Texten mit inkonsistenter Semantik oder Grammatik sowie Texte mit komplexer Diskursstruktur.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Laida Kushna... at arxiv.org 04-04-2024
https://arxiv.org/pdf/2311.08349.pdfDeeper Inquiries