المفاهيم الأساسية
Der xFakeSci-Algorithmus ist in der Lage, ChatGPT-generierte Artikel von wissenschaftlichen Publikationen zu unterscheiden.
الملخص
Die Studie untersucht, ob Inhalte, die von ChatGPT generiert wurden, ein eindeutiges Verhalten aufweisen, das sie von wissenschaftlichen Artikeln unterscheidet. In einer ersten Phase wurde die Topologie von Netzwerkmodellen, die aus ChatGPT-generierten Dokumenten und PubMed-Artikeln erstellt wurden, analysiert. Die Ergebnisse zeigten, dass ChatGPT-generierte Datensätze im Allgemeinen weniger Knoten, aber mehr Kanten aufweisen als Netzwerke, die aus wissenschaftlichen Artikeln abgeleitet wurden.
In einer zweiten Phase wurde der Beitrag von Bigrams zum Gesamtinhalt der Dokumente untersucht. Hier zeigte sich, dass die Verhältnisse der ChatGPT-generierten Datensätze deutlich höher waren als die der wissenschaftlichen Publikationen.
Basierend auf diesen Erkenntnissen wurde der xFakeSci-Algorithmus entwickelt, der in der Lage ist, ChatGPT-generierte Artikel von echten wissenschaftlichen Publikationen zu unterscheiden. Der Algorithmus wurde in zwei Modi getestet: im Einzelmodus, bei dem er nur aus einer Datenquelle trainiert wurde, und im Multimodus, bei dem er aus einer Mischung von ChatGPT-generierten und PubMed-Artikeln trainiert wurde.
Die Multimodus-Experimente zeigten, dass xFakeSci F1-Werte zwischen 80% und 94% erreichte, während die Leistung der State-of-the-Art-Algorithmen (Naive Bayes, SVM, Logistische Regression) zwischen 38% und 52% lag. Die Autoren führen die hohe Leistung von xFakeSci auf den Kalibrierungsschritt zurück, der auf Verhältnissen und Proximitätsmetriken basiert.
الإحصائيات
Die ChatGPT-Netzwerkmodelle wiesen im Durchschnitt 519, 559 und 577 Knoten für Alzheimer, Krebs und Depression auf, während die PubMed-Modelle 742-817, 755-828 und 790-802 Knoten aufwiesen.
Die ChatGPT-Modelle hatten 1194, 1050 und 1108 Kanten, während die PubMed-Modelle 861-958, 803-1030 und 809-878 Kanten aufwiesen.
Die Verhältnisse der Bigrams zur Gesamtwortanzahl waren bei ChatGPT-Datensätzen mit 27-32% deutlich höher als bei wissenschaftlichen Artikeln mit 9-17%.
اقتباسات
Keine relevanten Zitate gefunden.