プリトレーニング言語モデル(PLMs)は、適切にフォーマットされた例が提供されると、驚異的なfew-shot学習能力を示します。しかし、「最良」の例を選択することは依然として課題です。我々は、シーケンスタギングタスク向けの複雑性ベースのプロンプト選択アプローチを提案します。このアプローチでは、専用モデルのトレーニングを回避し、代わりに特定のメトリクスを使用してテスト文と例の構文意味的複雑性を整合させます。我々は、文レベルおよび単語レベルのメトリクスを使用して、例の複雑性を(テスト)考慮されている文に一致させます。結果は、PLMsからより高いパフォーマンスを引き出すことを示しています:GPT-4でCoNLL2003データセットにおいてF1スコアで5%の絶対改善を達成し、GPT-j-6Bなどの小規模モデルでも最大28.85ポイント(F1 / Acc.)の大幅な利益が見られます。
เป็นภาษาอื่น
จากเนื้อหาต้นฉบับ
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Rishabh Adig... ที่ arxiv.org 03-07-2024
https://arxiv.org/pdf/2403.03861.pdfสอบถามเพิ่มเติม