Core Concepts
RORA quantifies new information in rationales, addressing label leakage for robust evaluation.
Abstract
自由テキストの根拠評価における新情報の定量化を行うRORAは、ラベル漏洩に対処し、堅牢な評価を提供します。従来の評価手法がラベル漏洩に弱いことを示し、人間の判断とより一致する結果を提供します。小さなモデルでラベル漏洩トークンを検出し、カウンターファクト編集で追加データを生成しています。IRM規則化を適用してラベル漏洩に対抗する評価モデルを訓練します。閾値とIRM正則化パラメータの感度分析も実施され、RORAがラベル漏洩に対して堅牢であることが示されています。
Stats
ラベル漏洩問題への対応:小さなモデルでトークン検出。
新情報定量化:カウンターファクト編集による追加データ生成。
IRM規則化:異なるパラメータでの実験結果。
Quotes
"Existing evaluation metrics rely on the degree to which a rationale supports a target label, but we find these fall short in evaluating rationales that inadvertently leak the labels."
"To address this problem, we propose RORA, a RObust free-text RAtionale evaluation against label leakage."
"We also show that RORA aligns well with human judgment, providing a more reliable and accurate measurement across diverse free-text rationales."