Core Concepts
オンラインゲーム内の有害な行動とコミュニケーションに焦点を当て、事前学習された言語モデルの有望な可能性を探る。
Abstract
オンラインゲームでの有害行動とコミュニケーションに関連する一般的な問題について議論。
事前学習されたBERTおよびGPT言語モデルの性能評価と使用方法。
データ収集、処理、分析手法の詳細。
BERTとGPT-3の比較結果とテスト予測パフォーマンス。
GPT-3が最も優れた性能を示し、トラッシュトークや有害チャットの検出における有望な可能性を確認。
Introduction
オンラインハラスメントや毒性行動が広く存在し、多くのプレイヤーに影響を与えていることが報告されている。
異なる報告書や研究から得られた情報を元に、オンラインヘイトスピーチや毒性がプレイヤーのパフォーマンスや健康全般に与える影響について議論。
Methods
OpenDotaの公開APIから収集したデータセットを使用して、BERTおよびGPT言語モデルを微調整して毒性チャットを検出。
Results
データ処理と分析結果。非毒性、軽度(毒性)、有害チャットメッセージへの分類。
BERT(Base)およびBERT(Large)、GPT-3モデルのテスト予測結果。
Stats
オープンドタAPIから約11,074件のチャットメッセージコーパス収集。
BERT(Base)は最後のエポックで2%の訓練損失と89%の精度達成。
BERT(Large)は最後のエポックで14%訓練損失と81%精度達成。