本研究では、インド文脈に適したバイアス評価のためのベンチマークデータセット「IndiBias」を提案している。
まず、既存の英語ベースのCrowS-Pairs データセットをインド文脈に合わせて翻訳・修正し、英語とヒンディー語の800文ペアからなるデータセットを作成した。
さらに、ジェンダー、宗教、カースト、年齢、地域、容姿、職業の7つの軸で、言語モデルが示す固定観念や偏見を捉えるための300組の属性ペアを生成した。
加えて、ジェンダー-宗教、ジェンダー-カースト、ジェンダー-年齢の3つの交差軸におけるバイアスを測定するための1000文のテンプレートを作成した。
最後に、作成したIndiBiasデータセットを用いて10種類の多言語言語モデルのバイアスを分析した。その結果、モデルは多くの交差グループに対してバイアスを示すことが明らかになった。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Nihar Ranjan... at arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20147.pdfDeeper Inquiries