ゼロショット分類

Zaloguj się

spostrzeżenie - ゼロショット分類

大言語モデル（LLM）を用いたゼロショット分類において、プロンプト内のラベル名の選択がモデルの性能に大きな影響を与える。本研究では、ニューロン活性化パターンの分析に基づいたラベルセット最適化手法LOADSを提案し、従来の手法よりも優れた性能を実現する。

大規模言語モデルの優位性が一般的に認識されているが、小規模言語モデルも効果的にテキストを分類できることを示す。

ゼロショット分類モデルは、大規模なウェブデータを用いた事前学習の影響を受けるため、ラベル分布のミスマッチにより性能が低下する。本手法は、ラベル分布の推定値を用いたオプティマル・トランスポートによって、ラベル分布のミスマッチを補正し、ゼロショット分類の精度を向上させる。

O nas

Produkty | Zasoby

Spostrzeżenia