本論文は、言語モデル(LM)の関係的知識を評価するための新しいアプローチ「BEAR」を提案している。従来のLAMAプローブは、マスクド言語モデルにのみ適用可能で、単一のサブトークンしか答えられないという制限があった。また、答えの偏りや複数の正解がある問題など、データセットの課題も指摘されていた。
BEARでは、LMの固有の対数尤度推定能力を利用して、答えの選択肢を順位付けする方式を採用している。これにより、マスクド言語モデルと因果言語モデルの両方を評価できるようになった。また、答えの選択肢を制限し、偏りのない、単一の正解を持つデータセットを構築した。
具体的には以下の手順で進められる:
実験の結果、BEARは従来のLAMAプローブよりも難易度が高く、言語モデルの関係的知識を効果的に評価できることが示された。また、マスクド言語モデルと因果言語モデルの比較から、マスクド言語モデルの方が関係的知識をより良く捉えていることが明らかになった。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jacek Wiland... at arxiv.org 04-08-2024
https://arxiv.org/pdf/2404.04113.pdfDeeper Inquiries