Core Concepts
モデレーション介入の効果を事前に予測することで、プラットフォーム管理者は戦略的に介入を計画し、望ましくない結果を最小限に抑えることができる。
Abstract
本研究は、モデレーション介入の効果を予測する新しい課題に取り組んでいる。具体的には、Reddit上で行われた大規模なコミュニティ禁止処分(Great Ban)の後、ユーザーがプラットフォームから離脱するかどうかを予測するモデルを構築している。
データは、Great Banの前後7ヶ月間の16,540ユーザーの13.8M件のコメントから構成される。ユーザーの活動、有害性、文体、関係性に関する142の特徴量を抽出し、ユーザーの離脱を予測するための機械学習モデルを構築した。
最良のモデルは、マイクロF1スコア0.800、マクロF1スコア0.676を達成した。活動特徴量が最も有用な予測因子であり、関係性特徴量と有害性特徴量も重要であった。一方、文体特徴量は限定的な有用性しか示さなかった。
また、ユーザーの活動量に応じて予測精度が変化することが分かった。低活動ユーザーは高精度に分類できるが、高活動ユーザーの分類精度は低い。これは、最も影響力の大きい高活動ユーザーの行動を捉えるためにはさらなる特徴量の設計が必要であることを示唆している。
本研究の成果は、モデレーション介入の効果を事前に予測する新しいアプローチの実現可能性を示すものである。これにより、プラットフォーム管理者は介入の悪影響を最小限に抑えつつ、望ましい効果を最大化する戦略的な意思決定が可能になる。
Stats
ユーザーの活動量が低い場合、離脱ユーザーの予測精度が高い。
活動量が高いユーザーの予測精度は低い。