Connexion
Idée - ゼロショット分類
生成モデルを用いたゼロショット分類のための、活性化分布尖度によるラベルセットの最適化
大言語モデル（LLM）を用いたゼロショット分類において、プロンプト内のラベル名の選択がモデルの性能に大きな影響を与える。本研究では、ニューロン活性化パターンの分析に基づいたラベルセット最適化手法LOADSを提案し、従来の手法よりも優れた性能を実現する。
小規模言語モデルも優秀です: ゼロショット分類に関する実証的研究
大規模言語モデルの優位性が一般的に認識されているが、小規模言語モデルも効果的にテキストを分類できることを示す。
ゼロショット分類の精度向上のためのオプティマル・トランスポートを用いた手法
ゼロショット分類モデルは、大規模なウェブデータを用いた事前学習の影響を受けるため、ラベル分布のミスマッチにより性能が低下する。本手法は、ラベル分布の推定値を用いたオプティマル・トランスポートによって、ラベル分布のミスマッチを補正し、ゼロショット分類の精度を向上させる。
Produits | Ressources
© 2024 by Linnk AI