Główne pojęcia
大規模言語モデルを用いた関係抽出タスクにおいて、関連性の高い訓練例の検索と効果的な文脈推論を実現する新しい手法を提案する。
Streszczenie
本研究は、大規模言語モデルを用いた関係抽出タスクの課題に取り組んでいる。関係抽出は自然言語処理の重要なタスクの1つであり、テキスト中の2つのエンティティ間の関係を特定することを目的としている。
大規模言語モデルを用いた関係抽出では、2つの主な課題がある。1つは、文脈学習時に関連性の高い訓練例を検索することが難しいこと、もう1つは、中規模の言語モデルでは文脈学習の性能が低いことである。
本研究では、これらの課題に対処するため、「想起-検索-推論」フレームワークを提案している。具体的には以下の3つのステップから成る:
想起: 訓練データから一貫した概念論的知識を蒸留し、言語モデルにエンティティペアを生成させる。これにより、関連性の高いエンティティペアを生成できる。
検索: 生成されたエンティティペアを使って、訓練データから関連性の高い事例を検索する。
推論: 検索された事例を用いて、言語モデルが文脈推論を行い、関係を予測する。
この一連のプロセスにより、関連性の高い訓練例の検索と効果的な文脈推論が実現される。
実験の結果、提案手法は4つの関係抽出ベンチマークデータセットで最先端の性能を達成している。また、中規模の言語モデルでも高い性能が得られることが示された。
Statystyki
関係抽出タスクでは、テキスト中の2つのエンティティ間の関係を特定する必要がある。
大規模言語モデルを用いた関係抽出では、関連性の高い訓練例の検索と効果的な文脈推論が課題となっている。
Cytaty
"関係抽出 (RE) は、テキスト中に言及されたエンティティ間の関係を特定することを目的としている。"
"大規模言語モデル (LLMs) は様々なタスクにおいて印象的な文脈学習 (ICL) 能力を示してきたが、ほとんどの教師あり微調整 RE 手法と比較して、依然として性能が低い。"