本研究では、8つの一般的なトリガー警告のいずれかで注釈付けされた4,135個の英語パッセージからなるデータセットを作成した。大規模な評価では、微調整モデルと少数shot分類器の有効性と一般化可能性を体系的に評価した。トリガー注釈は自然言語処理における主観的な注釈タスクに属し、自動トリガー分類は依然として課題であるが可能であることが分かった。
キーワードベースの抽出では多くの陽性事例が特定できたが、注釈者の意見が分かれる穏やかで暗示的な事例も含まれていた。注釈者が意見を異にする場合、分類エラーが頻繁に発生することが分かった。さらに、まず、未知の概念や稀なトリガーに一般化するには多様なトレーニングデータが必要であること、次に、Mistralのようなフューショットモデルは(計算コストが高いものの)未知のトリガーに対して競争力があること、最後に、微調整モデルは特定の警告や設定に最適であることが実験的に示された。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問