核心概念
LLMは情報検索の文脈で公平に機能しているかを検証する。性別や地理的属性などの保護属性に対する偏りを分析し、LLMランカーの公平性を評価する。
要約
本研究は、大規模言語モデル(LLM)を情報検索のランカーとして使用する際の公平性を実証的に評価している。
主な内容は以下の通り:
-
LLMランカーの公平性を評価するための2つの手法を提案:
- リスト型評価: クエリ側と項目側の公平性を測定
- ペア型評価: 保護属性を持つ項目と非保護属性の項目の順位付けの公平性を測定
-
TREC Fair Rankingデータセットを使用して、GPT-3.5、GPT-4、Mistral-7b、Llama2-13bなどの主要LLMを評価
- リスト型評価では、LLMは一定の公平性を示すが、ペア型評価では偏りが見られる
- 特に、性別や地理的属性に対する偏りが観察された
-
Mistral-7bモデルにLoRAファインチューニングを適用し、ペア型評価の公平性を改善
- ファインチューニング後は、保護属性と非保護属性の項目の順位付けが公平になった
本研究は、LLMランカーの公平性評価に新しい知見を提供し、公平性向上のための具体的な方策を示している。今後、LLMの効用と公平性のバランスを取ることが重要な課題となる。
統計
性別属性に関して、GPT-3.5は女性項目を男性項目よりも優先的に順位付けする傾向がある。
地理的属性に関して、GPT-3.5はヨーロッパ人項目をより高く順位付ける傾向がある。
引用
"LLMの公平性は未だ十分に検討されていない。本研究は、LLMをランカーとして使用する際の公平性を実証的に評価する。"
"リスト型評価では一定の公平性が見られるが、ペア型評価では性別や地理的属性に対する偏りが観察された。"
"LoRAによるファインチューニングにより、Mistral-7bモデルのペア型評価の公平性が改善された。"