Concepts de base
本文提出了一種利用自然語言處理技術,自動化分析 Reddit 等線上社群中所展現的人類價值觀的方法,並探討其與傳統問卷調查結果的關聯性。
參考資訊: Borenstein, N., Arora, A., Kaffee, L., & Augenstein, I. (2024). Investigating Human Values in Online Communities. arXiv preprint arXiv:2402.14177v3.
研究目標: 本研究旨在開發一種可擴展的方法,用於分析線上社群中表達的人類價值觀,並探討其與傳統問卷調查結果的關聯性。
研究方法: 本研究採用 Schwartz 的人類價值觀理論,訓練了一個基於 DeBERTa 模型的價值觀抽取模型,用於識別 Reddit 帖文中表達的十種基本價值觀及其傾向性。研究人員使用 ValueNet 和 ValueArg 數據集對模型進行訓練和評估,並將其應用於分析 Reddit 上 11,616 個最受歡迎的子板塊中超過九百萬篇帖子。
主要發現: 研究結果顯示,該模型能夠有效地識別 Reddit 帖文中表達的價值觀,並揭示了不同線上社群在價值觀表達上的差異。例如,研究發現 r/feminism 子板塊的參與者高度重視自我導向,而 r/MensRights 子板塊的參與者則表現出對傳統價值觀的偏好。此外,研究還發現,美國保守州的 Reddit 子板塊中表達的傳統價值觀與問卷調查結果呈現正相關。
主要結論: 本研究證明了利用自然語言處理技術分析線上社群價值觀的可行性和潛力。研究結果表明,線上社群的價值觀表達與傳統問卷調查結果存在差異,這突出了線上行為和線下行為之間的差異。
研究意義: 本研究為社會科學家提供了一種新的工具,用於大規模研究線上社群的價值觀。研究結果有助於更好地理解線上社群的行為模式和價值觀傾向。
研究限制和未來方向: 本研究的主要限制在於 Reddit 用戶的代表性問題,以及線上行為和線下行為之間的差異。未來的研究可以探討如何提高模型的跨平台泛化能力,以及如何將線上價值觀分析與其他數據源結合起來,以獲得更全面的洞察力。
Stats
研究人員分析了 Reddit 上 11,616 個最受歡迎的子板塊中超過九百萬篇帖子。
在評估價值觀關聯性模型時,研究人員使用了 Spearman's ρ 來衡量標註者之間的一致性,結果為 0.63。
價值觀關聯性模型的 NDCG@1 得分为 0.87,表明模型在識別與特定價值觀高度相關的內容方面表現出色。
價值觀立場模型的 F1 得分为 0.72,表明模型在預測文本對特定價值觀的立場方面表現良好。
在比較語義相似的子板塊時,研究發現其價值觀相似度的期望值為 0.81,而隨機子板塊的期望值為 0.64。
在比較社群相似的子板塊時,研究發現其價值觀相似度的期望值為 0.81,而隨機子板塊的期望值為 0.64。
研究發現,美國各州 Reddit 子板塊中表達的傳統價值觀與保守意識形態調查結果之間的 Spearman's ρ 為 0.55 (p 值 < 0.0001)。
研究發現,美國各州 Reddit 子板塊中表達的傳統價值觀與宗教信仰程度調查結果之間的 Spearman's ρ 為 0.63 (p 值 < 0.0001)。