本研究は、大規模言語モデル(LLM)を情報検索のランカーとして使用する際の公平性を実証的に評価している。
主な内容は以下の通り:
LLMランカーの公平性を評価するための2つの手法を提案:
TREC Fair Rankingデータセットを使用して、GPT-3.5、GPT-4、Mistral-7b、Llama2-13bなどの主要LLMを評価
Mistral-7bモデルにLoRAファインチューニングを適用し、ペア型評価の公平性を改善
本研究は、LLMランカーの公平性評価に新しい知見を提供し、公平性向上のための具体的な方策を示している。今後、LLMの効用と公平性のバランスを取ることが重要な課題となる。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Yuan Wang,Xu... às arxiv.org 04-05-2024
https://arxiv.org/pdf/2404.03192.pdfPerguntas Mais Profundas