オンラインヘイトを撲滅するための人工知能の活用についての調査と機会の探求

Core Concepts

大規模言語モデル（LLMs）は、ヘイトスピーチ検出において効果的であり、適切なプロンプトが重要である。

Abstract

オンラインソーシャルメディアプラットフォームはコミュニケーションや情報共有の重要な手段となっているが、ヘイトスピーチや有害コンテンツも存在する。
LLMsは多くの異なるアプリケーションで優れた性能を発揮し、特にテキスト分類において注目されている。
GPT-3.5やLlama 2などのLLMsは、ヘイトスピーチ検出において優れた効果を示している。
プロンプトの単純さが分類パフォーマンスに影響を与えることが示唆されている。
オンラインソーシャルメディアとヘイトスピーチ

ソーシャルメディアは情報共有や意見交換に利用されるが、しばしばヘイトスピーチや有害コンテンツも存在する。
ヘイトスピーチ検出は手動では不可能な規模で行われる必要がある。
大規模言語モデル（LLMs）

LLMsは多岐にわたるアプリケーションで優れた性能を発揮し、特にテキスト分類タスクで注目されている。
GPT-3.5やLlama 2などのLLMsは、ヘイトスピーチ検出において効果的であることが示されている。
プロンプトの重要性

プロンプトの単純さが分類パフォーマンスに影響を与え、直接的かつ簡潔な指示が最も効果的であることが示唆されている。

Stats

GPT-3.5とLlama 2は80〜90％の精度とF1スコアを示しました。

Quotes

"オフェイシャルAIから得られた注釈付きデータではChatGPTよりもMTurk作業者の方が優れた結果を示した。" - Gilardi, Alizadeh, and Kubli (2023)
"直接的かつ簡潔な指示が最も効果的であった。" - Han and Tang (2022)

Key Insights Distilled From

Harnessing Artificial Intelligence to Combat Online Hate

by Tharindu Kum... at arxiv.org 03-14-2024

https://arxiv.org/pdf/2403.08035.pdf

Deeper Inquiries

他の記事以外でもこの技術を使用する場合、どんな倫理的問題が生じうるか？

LLMsを使用してオンラインヘイトに対処する際には、いくつかの倫理的問題が浮上する可能性があります。まず第一に、ヘイトスピーチの定義や識別基準が主観的であるため、適切なトレーニングや監督が不可欠です。また、特定のグループやコミュニティに対してバイアスを持った結果を出す可能性も考慮しなければなりません。さらに、自由表現とヘイトスピーチとの間でバランスを保つことも重要です。例えば、過剰な監視や検閲が発生し、言論の自由が制限されるリスクもあります。

LLMSは特定グループへ向けられたヘイトスピーチを適切に識別する際にどんな困難さを抱えているか？

LLMsは特定グループへ向けられたヘイトスピーチを正確に識別する際にいくつかの困難さを抱えています。例えば、「women」や「Muslims」といった具体的なターゲットへ向けられたヘイトスピーチでは誤分類率が高くなる傾向が見られます。これは言語モデル自体やトレーニングデータセット内での偏りから生じる可能性があります。また、「counter-speech」（反論）シナリオではLMMsは苦労しやすく、そのような文脈で正確な分類能力を維持することも挑戦的です。

この技術を使って新しい形式のコンテント制作や表現方法は可能だろうか？

LLMsは既存の文章生成だけでなく、新しい形式のコンテンツ制作や表現方法でも活用可能です。例えば、「implicit hate speech detection」（暗黙的ヘイトスピ-チ検出）や「enforceable hate speech detection」（法執行可能性ある テ ス ピ-チ 検 出） の よ う な 新 し い 分野 を 探 索 す る 際 の 支 援 技 術 的役割 を果たすことが期待されています。
LLMs を利用した新しい形式・手法ではプロンプト設計次第で異なった成果物・表現方法
等実験結果から明示されました 。その他 コンテキスト情報提供等工夫次第で多岐
多様化した応用展開及び有意義成果得られそうです 。