DeMod：一個用於審查網路言論毒性的整體工具，具備可解釋的檢測和個性化修改功能

핵심 개념

DeMod 是一款基於 ChatGPT 的網路言論審查工具，旨在幫助用戶在發布前主動審查其言論內容，避免發布帶有毒性的言論。

초록

DeMod：一款基於 ChatGPT 的網路言論審查工具

本研究旨在探討社交媒體用戶在審查網路言論毒性方面的需求，並設計一款名為 DeMod 的工具來滿足這些需求。DeMod 是一款基於 ChatGPT 的網路言論審查工具，旨在幫助用戶在發布前主動審查其言論內容，避免發布帶有毒性的言論。

研究背景

隨著社交媒體的普及，網路言論毒性問題日益嚴重。為了避免發布帶有毒性的言論，用戶通常會在發布前進行自我審查或依賴平台的審核機制。然而，自我審查往往受限於用戶的知識、經驗和時間，而平台審核則缺乏用戶控制、解釋不足且準確性較低。

DeMod 的設計目標

為了改善現有審查方式的不足，本研究提出了五個設計目標：

1. 提供整體審查：DeMod 應提供毒性檢測和修改等整體功能。
2. 提供細粒度的檢測結果：DeMod 應提供細粒度的檢測結果，包括相關句子、短語和詞彙。
3. 增強可解釋性：DeMod 應提供對檢測結果的即時解釋，並模擬受眾對帖子的態度，幫助用戶了解潛在影響。
4. 提供個性化的修改建議：DeMod 應提供修改建議，在消除毒性的同時保留原文語義和用戶的個人語言風格。
5. 確保用戶控制：DeMod 應在用戶知情和控制的情況下進行內容審查，僅提供建議，最終決定權在用戶手中。

DeMod 的主要功能

DeMod 主要包含三個模組：

1. 用戶授權：獲取用戶對微博個人資料的訪問權限，例如歷史帖子和社交關係。
2. 可解釋的檢測：基於 ChatGPT 進行毒性檢測和解釋，提供多粒度檢測結果（包括分類和關鍵字）以及詳細解釋（包括即時解釋和動態解釋）。
3. 個性化修改：基於用戶歷史帖子和 ChatGPT 的 few-shot learning 能力，提供修改建議，在消除毒性的同時盡可能保留原文語義和用戶的個人語言風格。

評估結果

評估結果顯示，DeMod 在毒性檢測和修改方面均表現出色，並獲得了參與者的高度認可。DeMod 能夠幫助用戶快速準確地識別帖子問題，並提供個性化的修改建議。

總結

DeMod 是一款基於 ChatGPT 的網路言論審查工具，旨在幫助用戶在發布前主動審查其言論內容，避免發布帶有毒性的言論。DeMod 具備可解釋的檢測和個性化修改功能，能夠有效地幫助用戶進行網路言論審查。

통계

微博月活躍用戶數超過 6 億。
從 2022 年 11 月到 2023 年 8 月，微博上識別出的攻擊性言論超過 1.2 億條。
71.60% 的受訪者使用微博。
63.94% 的受訪者會在微博上發布帖子。
72.44% 的受訪者選擇自我審查來審查網路言論毒性。
58.33% 的受訪者選擇依賴微博的平台審核機制。
DeMod with GPT-4 模型的準確率達到 73.50%。
DeMod with GPT-3.5-turbo 模型的準確率達到 69.35%。
Perspective API 的準確率為 52.45%。
經過 DeMod 修改後，有毒樣本的比例下降了 94.38%，從 3,211 個減少到 170 個。

인용구

"這個工具可以大大減輕我的負擔。我經常沒有意識到我的話可能會傷害到別人。"
"我只想發布帖子，希望有一個整體工具可以指出我的問題並提供修改建議。"
"僅僅告訴我我的帖子是否有毒是不夠的。應該識別出可能傷害他人的特定詞語或短語。"
"應該直接突出顯示關鍵字。我不想浪費時間，這只是一個帖子。"
"對於那些我可能沒有意識到的有毒內容，最好提供一些理由讓我明白我是否應該發布這些內容。"
"突出顯示的詞語會更加清晰直觀。"
"通常會有人對我的話感到不滿，我也不喜歡被別人說教。這個功能（了解帖子內容的潛在社會影響）非常有趣，因為它可以讓我了解我的話語或表達在對話中是否有任何問題。"
"如果有一些不恰當的句子或詞語，最好能自動替換成一些委婉的表達方式，我不想直接編輯。"
"我重視我平時的說話風格。如果修改得太正式，就沒有必要出現在我的社交媒體上了。"
"自動修改功能應該給出一些建議，而不是直接發布。我更喜歡自己修改。"
"我更喜歡隨時使用不同的功能。有時，檢測就足夠了。"
"準確的檢測"
"詳細的解釋"
"精確的識別"
"新穎的"
"有趣的"
"獨特的"
"吸引人的"
"這個功能非常棒，它很快讓我意識到我不應該在我的言論中表達那麼多情緒。"
"這有點類似於預測對話發展趨勢的過程，這對於患有社交恐懼症的用戶來說是必要的。"
"回复看起來不像我的朋友，對我沒有用。而且，我不能繼續參與對話並表達自己。"
"支持互動會更好。"
"檢測中可以引入不同的級別嗎？比如歧視、攻擊性語言、侮辱和諷刺。"
"它能夠自動修改攻擊性和侮辱性的詞語，並且修改後的文本盡可能地保留了語義。"
"一鍵自動修改按鈕非常方便。修改總體上滿足了我的需求，帖子只需稍作修改即可發布。"
"方便的"
"容易的"
"自動的"
"毒性修改很有問題，經常完全改變了原文的意圖，把批判的態度改成了中立甚至積極的態度。"
"我希望它能顯示原文，幫助我快速查看修改了哪些內容。"

핵심 통찰 요약

DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship

by Yaqiong Li, ... 게시일 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01844.pdf

더 깊은 질문

在社交媒體平台日益重視網路言論治理的背景下，DeMod 這類工具的普及將會對平台的生態系統產生哪些影響？

DeMod 這類工具的普及，將會對社交媒體平台的生態系統產生多方面的影响，既有積極的一面，也存在潛在的挑戰：
積極影響：

促進友善理性的網路環境: DeMod 能幫助用戶意識到自身言論可能存在的攻擊性，並提供修改建議，鼓勵用戶使用更友善、理性的方式表達觀點，減少網路暴力、仇恨言論等負面現象，營造更健康的網路環境。
提升平台治理效率: 平台可以鼓勵用戶使用 DeMod 等工具進行自我審查，減輕平台審核壓力，提升內容審核效率，將資源集中於處理更複雜、隱蔽的有害信息。
促進用戶表達與自我反思: DeMod 的解釋功能可以幫助用戶更好地理解平台的社區規範，引導用戶反思自身言論，提升表達能力，促進平台與用戶之間的良性互動。
潛在挑戰：

過度依賴導致表達受限: 用戶可能過度依賴 DeMod 的判斷，在潛意識中自我審查，壓抑自身觀點，導致平台言論空間萎縮，影響多元化表達。
標準單一化影響內容生態: 若 DeMod 的判斷標準未能充分考慮不同文化背景、語境差異，可能導致誤判，影響平台內容生態的豐富性。
技術被濫用產生新型攻擊: 不排除 DeMod 被惡意利用，用於生成更隱蔽的攻擊性言論，躲避平台審查，對此需要提前預防和應對。
總體而言，DeMod 這類工具的普及對社交媒體平台生態系統的影響是複雜且多面的。平台需要正視潛在挑戰，積極引導技術的合理應用，才能更好地發揮其積極作用，構建更加健康、友善的網路環境。

如果 DeMod 被惡意利用，例如用於生成更加隱蔽的攻擊性言論，我們應該如何應對？

DeMod 若被惡意利用，的確可能被用於生成更隱蔽的攻擊性言論，躲避平台審查。為應對此挑戰，可以採取以下措施：
技術層面：

持續優化 DeMod 的檢測模型: 不斷更新訓練數據，提升 DeMod 對新型攻擊性言論的識別能力，特別是針對 DeMod 可能產生的“安全漏洞”進行重點防範。
引入多模型交叉驗證: 結合其他檢測模型或技術手段，對 DeMod 的判斷結果進行交叉驗證，降低誤判率和被繞過風險。
建立動態更新的敏感詞庫: 根據最新出現的攻擊性言論，動態更新 DeMod 的敏感詞庫，並對其進行語義分析，防止簡單替換詞語繞過檢測。
平台管理層面：

制定嚴格的使用規範: 明確禁止惡意利用 DeMod 等工具生成或傳播攻擊性言論，並對違規行為進行嚴肅處理。
加強用戶教育和引導: 提升用戶對網路安全和文明言論的意識，引導用戶正確使用 DeMod 等工具，避免被惡意利用。
建立舉報和反饋機制: 鼓勵用戶積極舉報 DeMod 被濫用的情況，並及時收集用戶反饋，不斷完善平台的應對策略。
其他方面：

加強與研究機構合作: 與相關研究機構合作，共同探討應對 DeMod 被惡意利用的技術方案，提升平台的技術防禦能力。
推動行業自律和規範: 推動社交媒體平台之間建立行業自律公約，共同抵制 DeMod 等工具的惡意應用，維護健康的網路生態。
DeMod 作為一種新興技術工具，其潛在風險需要引起足夠重視。只有採取多方面措施，才能有效應對其被惡意利用的風險，確保其在促進網路文明建設中發揮積極作用。

DeMod 的出現是否意味著我們可以完全依賴技術手段來解決網路言論毒性問題？

DeMod 的出現為解決網路言論毒性問題提供了新的思路和工具，但並不意味著我們可以完全依賴技術手段解決該問題。
技術手段的局限性：

難以完全識別和理解複雜的語境: 網路言論的攻擊性往往與語境、文化背景等因素密切相關，單純依靠技術手段難以完全準確識別。
容易被刻意繞過: 惡意使用者可以利用技術漏洞或設計更隱蔽的表達方式，繞過技術檢測。
可能抑制言論自由: 過度依賴技術手段可能導致“过度审查”，限制用戶的正常表達，影響言論自由和多元化。
解決網路言論毒性問題需要多方努力：

技術手段與人工審核相結合: 將技術手段作為輔助工具，人工審核仍然不可或缺，特別是針對複雜、敏感的言論內容。
加強平台的社區規範建設: 制定明確的社區規範，引導用戶進行自我約束，共同維護健康的網路環境。
提升用戶的網路素養: 加強網路倫理教育，提升用戶對網路言論的責任意識，從源頭上減少攻擊性言論的產生。
推動社會共治: 政府、企業、社會組織和廣大網民共同參與，形成合力，共同治理網路言論毒性問題。
結論：
DeMod 等技術手段可以作為解決網路言論毒性問題的有效工具，但不能完全依赖技术。只有將技術手段與其他措施相結合，多方共同努力，才能有效治理網路言論毒性問題，營造清朗的網路空間。