规范不确定性：颠覆性指标揭示的文献计量指标（隐藏）多重宇宙

Core Concepts

文献计量指标，例如颠覆性指数 (DI1)，在计算过程中存在许多自由度，可能导致不同的研究结果，因此需要采用多元方法来提高研究的透明度和稳健性。

Abstract

文献计量指标的多元宇宙：以颠覆性指数为例

这篇研究论文探讨了文献计量指标计算中存在的规范不确定性问题，并以颠覆性指数 (DI1) 为例进行了说明。作者指出，DI1 的计算涉及多个自由度，例如文献耦合强度阈值 (X)、引用时间窗口长度 (Y) 和最小引用文献数量 (Z) 等，这些自由度的不同选择会导致不同的结果。

主要发现

• 研究人员在分析数据时做出的决策会影响研究结果，而文献计量指标的规范通常具有很大的自由度，因此不同的规范可能导致不同的研究结果，这对文献计量研究的可信度构成潜在威胁。
• DI1 的计算涉及多个自由度，例如文献耦合强度阈值 (X)、引用时间窗口长度 (Y) 和最小引用文献数量 (Z) 等。
• 作者通过分析 77 篇诺贝尔奖获奖论文的平均颠覆性得分，发现不同的参数选择会导致平均颠覆性得分在 -0.034 到 0.123 之间波动。

主要结论

• 作者认为，仅仅进行少量的稳健性检验是不够的，应该采用多元方法来系统地评估不同指标规范对研究结果的影响。
• 多元方法可以帮助研究人员识别和消除不确定性的来源，提高研究结果的稳健性。
• 作者建议将多元方法应用于其他文献计量指标，例如跨学科指标，以提高文献计量研究的透明度和可重复性。

研究意义

这篇论文强调了文献计量指标规范不确定性问题，并提出了采用多元方法来提高研究透明度和稳健性的建议，这对于提高文献计量研究的可信度和可靠性具有重要意义。

局限性和未来研究方向

• 本文主要关注 DI1 的规范不确定性问题，未来研究可以进一步探讨其他文献计量指标的类似问题。
• 作者建议采用多元方法来评估指标规范不确定性的影响，未来研究可以进一步开发和完善多元方法的应用。

Stats

作者分析了 77 篇诺贝尔奖获奖论文的平均颠覆性得分。
平均颠覆性得分的范围从 -0.034 (X= 1, Y= 3, Z= 1) 到 0.123 (X= 5, Y= 10, Z= 1)。

Quotes

“指标规范的分析灵活性可能危及研究的可信度”
“一个不稳定的推论是不值得认真对待的”
“在经验研究中，结果不仅由原始数据驱动，还由收集和分析数据的研究人员的决策驱动”

Key Insights Distilled From

Specification uncertainty: What the disruption index tells us about the (hidden) multiverse of bibliometric indicators

by Christian Le... at arxiv.org 11-06-2024

https://arxiv.org/pdf/2406.13367.pdf

Deeper Inquiries

除了多元方法之外，還有哪些其他方法可以用來解決文獻計量指標規範不確定性問題？

除了多元方法（multiverse analysis）之外，還有其他方法可以幫助解決文獻計量指標規範不確定性問題，以下列舉幾種：

敏感性分析（Sensitivity analysis）: 敏感性分析是評估研究結果對模型或指標設定變化的敏感程度。在文獻計量學中，這可以通過改變指標的參數（例如，引用窗口的長度、學科分類的層級）並觀察結果如何變化來實現。
收斂效度分析（Convergent validity analysis）: 收斂效度分析是指使用多種不同的指標來測量同一個概念，並檢查這些指標是否產生一致的結果。如果使用不同的指標得到相似的結果，則可以增加我們對研究結果的信心。
專家評估（Expert assessment）: 可以邀請領域專家對研究結果進行評估，特別是針對指標的選擇和結果的解讀。專家可以提供關於指標是否適當以及結果是否合理的見解。
資料品質控制（Data quality control）: 確保資料的準確性和完整性對於減少指標規範不確定性至關重要。這包括仔細檢查資料、處理缺失值以及使用標準化的資料收集方法。
透明度和可重複性（Transparency and reproducibility）: 研究人員應該清楚地說明他們如何選擇和計算指標，以及他們如何處理資料。這將使其他人能夠評估研究結果的可靠性，並重現分析過程。
需要注意的是，沒有一種方法可以完全消除指標規範不確定性。結合使用多種方法可以提供更全面和可靠的研究結果。

是否所有文獻計量指標都存在規範不確定性問題？

幾乎所有文獻計量指標都存在一定程度的規範不確定性問題，因為它們都需要對資料進行簡化和抽象，而這些過程不可避免地會涉及到主觀判斷和選擇。
以下是一些常見的導致文獻計量指標規範不確定性的因素：

資料庫選擇: 不同的資料庫收錄的期刊和文獻範圍不同，這可能會影響指標的計算結果。
時間範圍: 指標的計算結果可能會受到所選時間範圍的影響，例如，選擇不同的引用窗口可能會導致不同的結果。
學科差異: 不同學科的出版和引用模式不同，因此在比較不同學科的研究成果時，需要考慮學科差異。
指標定義: 即使是相同名稱的指標，也可能存在不同的定義和計算方法，這可能會導致結果的差異。
儘管規範不確定性是文獻計量學中普遍存在的問題，但並非所有指標都受到同等程度的影響。一些指標，例如h指數，相對簡單且定義明確，因此規範不確定性較低。而另一些指標，例如影響因子，則更為複雜，並且受到更多因素的影響，因此規範不確定性更高。

如果研究結果對指標規範的選擇高度敏感，那麼我們如何才能相信文獻計量分析的結果？

如果研究結果對指標規範的選擇高度敏感，我們需要謹慎地對待文獻計量分析的結果，並採取以下措施來提高結果的可信度：

不要過度依賴單一指標: 應該使用多種指標來評估研究成果，並比較不同指標的結果。
進行敏感性分析: 通過改變指標的參數來評估結果的變化程度，並報告分析結果的穩健性。
解釋結果時要謹慎: 在解釋結果時，要考慮到指標規範不確定性的影響，並避免過度解讀結果。
關注研究的整體脈絡: 文獻計量分析只是評估研究成果的一種方法，應該結合其他方法，例如同行評審和專家評估，來全面評估研究成果。
總之，雖然規範不確定性是文獻計量學中不可避免的問題，但我們可以通過採取適當的措施來提高研究結果的可信度。關鍵是要認識到指標的局限性，並避免將其作為評估研究成果的唯一標準。