Core Concepts
ChatGPT and similar LLM tools are increasingly prevalent in scholarly literature, with an estimated 60,000 papers in 2023 being LLM-assisted.
Abstract
この研究は、2023年に学術文献でのLLM(Large Language Model)支援執筆の普及度を推定するために、LLM生成テキストと関連するキーワードを使用して全体的な推定値を提供します。ChatGPTや類似のツールが学術コミュニケーションでどれだけ広く使用されているかについて議論が広がっており、2023年に少なくとも6万本の論文(すべての記事のわずか1%超)がLLM支援を受けたと推定されています。
LLMs in Scholarly Literature
- ChatGPT 3.5リリース後、学術コミュニケーションでのLLMツールの使用について広範な議論が行われました。
- 研究者の30%がマニュスクリプト執筆を支援するツールを使用し、多くの出版社がその使用方法に関するガイダンスを提供し始めました。
Identification of LLM-associated terms
- Liangらによって特定された単語は、潜在的にLLM支援論文を特定する簡単でシンプルな方法を示唆しています。
- 特定の用語の使用量が増加すれば、全体的な文献中でLLM生成テキストの使用量が増加している可能性があります。
Estimating the overall prevalence
- キーワードグループ4(強力+中程度)およびグループ5(すべて)では、2014〜22年間平均して年間1.1%および2.1%増加しました。
- 実際の数字はこれらを上回り、2023年にDimensionsで記録された記事数全体から見積もって約60,000本以上です。
Stats
2023年に少なくとも6万本以上の論文がLLM支援を受けたと推定される。
パブリッシングイヤー2023では、「intricate」、「commendable」、「meticulous」など一部異例的および不釣り合いなキーワードが顕著に増加した。
Quotes
"Early over-enthusiasm that they might be able to reliably replace most forms of serious writing has been replaced by a more nuanced understanding of their capabilities and their – substantial – limitations."
"Recent work has identified strong evidence that ChatGPT and similar tools are being used by researchers to generate peer reviews for conference papers."