Can ChatGPT predict article retraction based on Twitter mentions?
Статистика
Manual labelling results indicate that there are indeed retracted articles with their Twitter mentions containing recognizable evidence signaling problems before retraction, although they represent only a limited share of all retracted articles with Twitter mention data (approximately 16%).
Using the manual labelling results as the baseline, ChatGPT demonstrates superior performance compared to other methods, implying its potential in assisting human judgment for predicting article retraction.
Цитаты
"Critical Twitter mentions can serve as catalysts in the retraction of problematic articles."
"ChatGPT offers an important advantage over other methods – it can provide reasoning for its predictions."
ChatGPTや他の大規模言語モデル(LLM)は科学発見促進で注目されており、本研究ではそれらが研究倫理向上に貢献できる可能性も明らかとなりました。特にChatGPTは人間と同等以上の精度で文章アノテーションタスク実行可能であり(Gilardi et al., 2023)、今回その能力を科学出版業界向け応用したことから新たな展望も開けつつあります。一方、「So what if ChatGPT wrote it?」(Dwivedi et al., 2023)論文でも指摘されているように適切ではなく利用すれば科学出版業界倫理面へ潜在リスクも存在します。従って今後必要不可欠な点は適切社会データトレーニング及びチェックプロセス改善です。