利用 ChatGPT 評估已發表醫學研究的品質：對臨床醫學研究的深入分析

核心概念

ChatGPT 能有效評估大多數學術領域的研究品質，包括臨床醫學，儘管它可能低估了一些頂尖醫學期刊中研究的價值。

要約

書目資訊

Thelwall, M., Jiang, X., & Bath, P. A. (2024). Evaluating the quality of published medical research with ChatGPT. [學術期刊名稱], [卷號], [頁碼].

研究目標

本研究旨在探討 ChatGPT 在評估已發表醫學研究品質方面的有效性，特別關注其在臨床醫學領域的表現。

研究方法

研究人員使用 ChatGPT 4o-mini 模型對提交給英國 2021 年研究卓越框架（REF）臨床醫學評估單元（UoA 1）的 9,872 篇期刊文章進行評分。他們將 ChatGPT 評分與部門平均 REF 評分、期刊平均 REF 評分以及期刊平均引用次數進行了比較。

主要發現

• ChatGPT 評分與部門平均 REF 評分呈顯著正相關 (r=0.134)，表明 ChatGPT 能夠一定程度上評估臨床醫學研究的品質。
• 部門平均 ChatGPT 評分與部門平均 REF 評分之間存在中等程度的正相關 (r=0.395)。
• ChatGPT 評分與期刊平均引用次數呈負相關，顯示 ChatGPT 可能低估了一些頂尖醫學期刊中研究的價值。
• ChatGPT 傾向於給予理論性研究較高的評分，而對直接影響人類健康決策的研究給予較低的評分。

主要結論

ChatGPT 可以作為評估臨床醫學研究品質的輔助工具，但應注意其可能低估某些頂尖醫學期刊中研究價值的傾向。

研究意義

本研究為 ChatGPT 在評估醫學研究品質方面的應用提供了證據，並強調了在使用此類工具時需要考慮的潛在偏差。

研究限制與未來方向

• 本研究僅使用了來自英國單一國家的數據，可能無法代表全球醫學研究的品質。
• 未來研究可以使用更大的數據集和更先進的語言模型來驗證這些發現。
• 未來研究可以進一步探討 ChatGPT 低估某些頂尖醫學期刊中研究價值的原因。

統計

ChatGPT 評分與部門平均 REF 評分的相關係數為 0.134。
部門平均 ChatGPT 評分與部門平均 REF 評分的相關係數為 0.395。
研究分析了提交給英國 2021 年研究卓越框架（REF）臨床醫學評估單元（UoA 1）的 9,872 篇期刊文章。

引用

"The results show for the first time that ChatGPT score estimates correlate positively with an indicator of article quality for clinical medicine journal articles."
"The main caveat to the above conclusion is that ChatGPT seems to systematically undervalue research in some prestigious medical journals, whether because of the journal’s style or by overlooking the contribution of medical studies about human health."

抽出されたキーインサイト

Evaluating the quality of published medical research with ChatGPT

by Mike Thelwal... 場所 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01952.pdf

深掘り質問

ChatGPT 在評估其他類型醫學出版物（如系統評價或臨床實踐指南）的品質方面表現如何？

目前的研究主要集中在 ChatGPT 對臨床醫學期刊文章品質評估的能力，但對於其他類型的醫學出版物，例如系統評價或臨床實踐指南，其評估能力仍需要進一步研究。
然而，根據現有研究結果以及 ChatGPT 的運作機制，我們可以推測：

系統評價： 由於系統評價強調文獻搜尋的完整性、偏倚風險評估和結果的統合，ChatGPT 可以通過分析文獻納入/排除標準、偏倚風險評估方法和 meta 分析結果等方面來評估其品質。
臨床實踐指南： 臨床實踐指南的品質評估則更關注其證據等級、建議強度和可操作性。ChatGPT 可以通過分析指南制定方法學、建議的證據來源和建議的清晰度等方面來評估其品質。
需要注意的是，ChatGPT 的評估結果可能受到其訓練數據的影響。如果訓練數據中包含較少的系統評價或臨床實踐指南，其評估結果的準確性和可靠性可能會降低。

如果 ChatGPT 的訓練數據包含更多來自頂尖醫學期刊的文章，它對這些期刊中研究的評分是否會有所不同？

如果 ChatGPT 的訓練數據包含更多來自頂尖醫學期刊的文章，它對這些期刊中研究的評分有可能會有所不同。

評分提高的可能性： ChatGPT 的評分邏輯是基於對大量文本數據的學習。如果訓練數據中包含更多高品質的文章，它可能會更準確地識別高品質研究的特徵，例如研究設計的嚴謹性、結果的可靠性和結論的合理性，從而提高對頂尖醫學期刊文章的評分。
評分降低的可能性： 然而，目前的研究結果顯示，ChatGPT 傾向於給予強調新穎性和理論性的文章更高的評分，而對強調實證結果和臨床應用的文章評分較低。頂尖醫學期刊的文章通常更注重臨床影響力，這可能導致 ChatGPT 對其評分反而降低。
此外，訓練數據的多樣性也至關重要。僅僅增加頂尖醫學期刊的文章數量可能不足以改善 ChatGPT 的評估能力，還需要涵蓋不同類型、不同研究方向和不同品質等級的醫學出版物，才能使其評估結果更具全面性和客觀性。

如何利用 ChatGPT 等人工智能工具來改善醫學研究的設計和報告，從而提高其品質和影響力？

ChatGPT 等人工智能工具可以從以下幾個方面改善醫學研究的設計和報告，從而提高其品質和影響力：

研究設計階段：

文獻回顧： ChatGPT 可以協助研究人員快速检索和分析大量文獻，找到研究空白和潜在的研究方向。
樣本量計算： 一些人工智能工具可以根據研究設計和預期效應值，協助研究人員進行樣本量計算，提高研究的統計效力。
研究方案撰寫： ChatGPT 可以根據研究目的、設計和方法，協助研究人員生成研究方案框架，提高研究方案的完整性和規範性。

研究報告撰寫階段：

語言潤色： ChatGPT 可以協助研究人員修改語法錯誤、提升語言表達，使研究報告更易於理解和接受。
圖表生成： 一些人工智能工具可以根據研究數據，自動生成清晰易懂的圖表，提升研究結果的可視化效果。
格式檢查： ChatGPT 可以協助研究人員檢查研究報告的格式是否符合期刊要求，提高投稿效率。
需要注意的是，ChatGPT 等人工智能工具僅僅是輔助工具，不能替代研究人員的專業判斷和思考。研究人員應當批判性地使用這些工具，並對其生成的結果進行審慎評估。