Keskeiset käsitteet
少量学習関係抽出のための新しいメタデータセットを開発し、6つの最新の手法を包括的に評価した。その結果、どの手法も一貫して良好なパフォーマンスを示さず、全体的なパフォーマンスが低いことから、この分野の今後の研究の必要性が示された。
Tiivistelmä
本論文では、少量学習関係抽出(FSRE)のためのメタデータセットを開発した。このメタデータセットには、既存の監視付き関係抽出データセットNYT29、WIKIDATA、TACREDから派生した3つのFSREデータセットが含まれている。これらのデータセットは、実世界の応用に合わせて変換されており、以下の特徴を持つ:
- テストの関係クラスは、背景データセットで見られる関係とは異なる
- 各関係クラスの訓練例数は非常に少ない(1または5)
- 関係の分布は均一ではない
- 大部分の候補関係メンションは、関心のある関係には対応していない
- テストで見られる多くの関係候補は、背景関係にも対応していない
- 関係に参加する実体には、固有名詞だけでなく代名詞や普通名詞も含まれる
この新しいメタデータセットを使って、6つの最新のFSRE手法を包括的に評価した。その結果、どの手法も一貫して良好なパフォーマンスを示さず、全体的なパフォーマンスが低いことが明らかになった。これは、この分野の今後の研究の必要性を示唆している。
Tilastot
少量学習関係抽出の性能は全体的に低く、大きな改善の余地がある。
最高のモデルでも、5ウェイ1ショットタスクでF1スコアは24.78%、5ウェイ5ショットタスクでは34.59%にとどまる。
Lainaukset
"少量学習関係抽出(FSRE)のための新しいメタデータセットを開発した。このメタデータセットには、既存の監視付き関係抽出データセットNYT29、WIKIDATA、TACREDから派生した3つのFSREデータセットが含まれている。"
"この新しいメタデータセットを使って、6つの最新のFSRE手法を包括的に評価した。その結果、どの手法も一貫して良好なパフォーマンスを示さず、全体的なパフォーマンスが低いことが明らかになった。"