ChatGPT "contamination": Estimating LLM Prevalence in Scholarly Literature

Core Concepts

ChatGPT and similar LLM tools are increasingly prevalent in scholarly literature, with an estimated 60,000 papers in 2023 being LLM-assisted.

Abstract

この研究は、2023年に学術文献でのLLM（Large Language Model）支援執筆の普及度を推定するために、LLM生成テキストと関連するキーワードを使用して全体的な推定値を提供します。ChatGPTや類似のツールが学術コミュニケーションでどれだけ広く使用されているかについて議論が広がっており、2023年に少なくとも6万本の論文（すべての記事のわずか1％超）がLLM支援を受けたと推定されています。
LLMs in Scholarly Literature

ChatGPT 3.5リリース後、学術コミュニケーションでのLLMツールの使用について広範な議論が行われました。
研究者の30％がマニュスクリプト執筆を支援するツールを使用し、多くの出版社がその使用方法に関するガイダンスを提供し始めました。
Identification of LLM-associated terms

Liangらによって特定された単語は、潜在的にLLM支援論文を特定する簡単でシンプルな方法を示唆しています。
特定の用語の使用量が増加すれば、全体的な文献中でLLM生成テキストの使用量が増加している可能性があります。
Estimating the overall prevalence

キーワードグループ4（強力+中程度）およびグループ5（すべて）では、2014〜22年間平均して年間1.1％および2.1％増加しました。
実際の数字はこれらを上回り、2023年にDimensionsで記録された記事数全体から見積もって約60,000本以上です。

Stats

2023年に少なくとも6万本以上の論文がLLM支援を受けたと推定される。
パブリッシングイヤー2023では、「intricate」、「commendable」、「meticulous」など一部異例的および不釣り合いなキーワードが顕著に増加した。

Quotes

"Early over-enthusiasm that they might be able to reliably replace most forms of serious writing has been replaced by a more nuanced understanding of their capabilities and their – substantial – limitations."
"Recent work has identified strong evidence that ChatGPT and similar tools are being used by researchers to generate peer reviews for conference papers."

Key Insights Distilled From

ChatGPT "contamination"

by Andrew Gray at arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.16887.pdf

Deeper Inquiries

今後、学術文献内で未開示のLLM支援テキストがさらに増えることは問題ですか？

この傾向は確かに懸念すべき点があります。未開示のLLM支援テキストが増加すると、論文の信頼性や品質に影響を与える可能性があります。特定の単語やフレーズの使用頻度から、LLMツールを利用している可能性が高い論文を特定できるため、これらの論文は他よりも内容に問題がある可能性があります。また、研究者や出版社はこのような実践を透明化し、倫理的な観点から正直に開示する必要があります。

ChatGPTや他のLLMツールは純粋にスタイル上だけでなく他でも使用されている可能性はありますか

ChatGPTや他のLLMツールは純粋にスタイル上だけでなく他でも使用されている可能性はありますか？
そうです。過去数年間では、ChatGPTやその他のLLMツールは主に高品質な文章生成目的で使用されてきました。ただし、最近では学術コミュニケーション分野でも広く使われ始めており、「AI detection」ツールを用いた研究ではそれらの存在感も確認されています。これらのツールは原稿執筆補助だけでなく査読コメント生成等幅広い用途で活用されつつあることも指摘されています。

この傾向は将来的に人間言語選択や研究品質にどんな影響を与える可能性がありますか

この傾向は将来的に人間言語選択や研究品質にどんな影響を与える可能性がありますか？
将来的にこの傾向が拡大すれば、「正常なスタイル」として扱われたLLM支援テキスト量が増加し、人々自身の言語選択パターンへ影響を及ぼす恐れも考えられます。また、学術文献内で未開示・監督不足なLLM使用量が増加するというリスクも存在します。「模範的」表現形式へ一般化した結果、「地味」「平凡」といった本来使われ得ない単語までも含ませたりすることから情報内容そのも の低下リスクも生じ得ます。