言語モデルエンコーダを使ったテキスト分類モデルの決定過程を説明するために、グラフアテンションを用いて入力ベクトルとプロトタイプベクトルの関係性を学習する新しいプロトタイプネットワークを提案する。
大規模かつ不均衡なデータセットに対して、効率的にアクティブラーニングを行う手法AnchorALを提案する。AnchorALは、ラベル付きデータから選択した代表的な事例(アンカー)を用いて、効率的にサブプールを構築し、アクティブラーニング戦略を適用することで、計算コストを抑えつつ、少数クラスの発見と学習性能の向上を実現する。
少数の実データを使って、LLMを効率的かつ効果的なテキスト分類器にする方法を提案する。合成データの生成、フィルタリング、PEFT微調整の3ステップを経て、ICLよりも高速で精度の高い分類器を構築する。
大規模言語モデルは少量のデータでも高性能なテキスト分類を実現できるが、従来の微調整アプローチとの比較では課題が残る。