Centrala begrepp
文書ランキングにおけるバイアスを測定する新しい指標TExFAIRは、NFaiRRとは異なる公平性の次元を測定します。
Sammanfattning
最近の研究では、文書ランキングにおけるジェンダーバイアスは、各ランク付けされた文書の非偏りスコアの集計に基づくNFaiRRメトリックで評価されています。しかし、この視点は個々の文書がバイアスを持つ可能性がある一方で、全体としてバランスが取れているかもしれないランク付けされたリスト全体でバイアスを測定することに制限があります。この問題に対処するために、我々は新しい指標TExFAIR(用語露出ベースの公平性)を提案しています。これは、AWRF(注目重み付きランキング公平性)フレームワークへの2つの新しい拡張に基づいています。TExFAIRは、ランク付けされたリスト内のグループの用語ベース表現に基づいて公平性を評価します。
我々はTExFAIRを使用してジェンダーバイアスを測定するタスクでTExFAIRとNFaiRRの関係を研究しました。実験結果から、TExFAIRとNFaiRRとの間に強い相関がないことが示されました。これは、TExFAIRがNFaiRRよりも異なる公平性次元を測定していることを示しています。
Statistik
NFaiRRメトリックはジェンダー不偏性評価結果全体で集計します。
TExFAIRメトリックは用語露出ベースでグループ表現の公平性を評価します。
CRBO結果ではBM25が最もバイアスが少なく見えます。
Citat
"Our proposed metric TExFAIR measures a different aspect of the fairness of a ranked list than NFaiRR."
"The results using TExFAIR without proportionality show a high sensitivity to the ranking cut-off k in comparison to the other two metrics."
"This discrepancy between {NFaiRR, TExFAIR} and CRBO disentangles the bias of a model towards genders from the bias of the ranked results it provides."