核心概念
提案されたVERIFINERは、既存のNERモデルからエラーを特定し、知識に基づいた推論を通じてより信頼性の高い予測に修正する枠組みです。
摘要
最近のドメイン固有の名前付きエンティティ認識(NER)アプローチは、生物医学的NERなどで顕著な進歩を示しています。しかし、これらは依然として信頼性が不足しており、誤った予測を生成しています。我々は、エンティティの知識が予測の正確性を検証する際に有用であると仮定します。知識の有用性にもかかわらず、そのようなエラーを知識で解決することは容易ではありません。したがって、我々はVERIFINERを提案しました。このフレームワークは、大規模言語モデルの推論能力を活用して知識と文脈情報を適切に結びつけることで、既存のNER方法からエラーを特定し、より信頼性の高い予測に修正します。我々は生物医学データセットでVERIFINERの効果を実証しました。
統計資料
最近のアプローチでは生物医学的NERタスクでも大規模言語モデル(LLMs)が単純なプロンプトだけでもNERタスクを実行可能。
FPケースが全体のエラータイプの大部分を占めており、特に高精度が必要なドメインでは重要な問題。
60%以上のFPケースが部分的に重複する予測であることが示されており、NERモデルは小さなマージンで正確ではない予測に頼っている。
引述
"Despite the promising results of these approaches, they still produce plausible but imprecise outputs."
"We propose VERIFINER, a post-hoc verification framework that identifies errors from existing NER methods and revises them into more faithful predictions."
"To resolve the aforementioned challenge, we aim to propose a post-hoc verification framework that identifies errors from existing NER methods and revises them into more faithful predictions."