核心概念
大規模言語モデル(LLM)は、特に多言語環境において、攻撃的言語検出において有望な性能を示すが、その能力は言語やデータセットのバイアスの影響を受ける可能性がある。
要約
論文情報
- タイトル:Guardians of Discourse: Evaluating LLMs on Multilingual Offensive Language Detection
- 著者:Jianfei He, Lilin Wang, Jiaying Wang, Zhenyu Liu, Hongbin Na, Zimu Wang, Wei Wang, Qi Chen
- 出版年:2024
- 出版社:IEEE
研究目的
本研究では、英語、スペイン語、ドイツ語の3つの言語における攻撃的言語検出タスクにおいて、大規模言語モデル(LLM)の性能を評価することを目的とする。
方法
- データセット:英語(OLID + SOLID)、スペイン語(OffendES)、ドイツ語(GermEval 2018)の3つのデータセットを使用。
- LLM:GPT-3.5、Flan-T5、Mistralの3つのLLMを評価。
- 評価指標:マクロ適合率、再現率、F1スコアを使用。
- 実験設定:単一言語および多言語の両方でLLMをファインチューニングし、異なるプロンプト言語やデータ拡張の影響を調査。
結果
- LLMは、多言語の攻撃的言語検出において、従来の手法と同等またはそれ以上の性能を達成。
- 多言語データを用いたファインチューニングは、特にFlan-T5において、モデルの攻撃的言語検出能力を向上。
- 母国語のプロンプトを使用すると、英語以外の文脈でのモデルの理解力が向上。
- 翻訳データの追加は、モデルの性能向上に寄与しない。
- LLMおよびデータセットに内在するバイアス(特に人種、性的指向、ジェンダー)が、センシティブなトピックに関する誤予測につながる可能性がある。
結論
LLMは多言語の攻撃的言語検出において有望な性能を示すが、その能力は言語やデータセットのバイアスの影響を受ける可能性がある。今後の研究では、より多くの言語やLLMを用いた実験、モデルの性能向上のための適用可能な手法やシステムの設計、実世界のシナリオへの適用などが期待される。
統計
Flan-T5のF1スコアは、スペイン語とドイツ語でそれぞれGPT-3.5より8.8%、12.6%低い。
ドイツ語のプロンプトに変更すると、GPT-3.5は以前の最先端技術よりも約8%高いスコアを達成した。
引用
"LLMs can achieve comparable or better performance in multilingual language detection."
"Multilingual fine-tuning LLMs enhances models’ offensive language detection ability."
"The inherent biases in LLMs and the dataset result in incorrect predictions on sensitive topics."