Core Concepts
大規模言語モデルの優位性が一般的に認識されているが、小規模言語モデルも効果的にテキストを分類できることを示す。
Abstract
本研究は、プロンプティングによるテキスト分類における大規模モデルと小規模モデルの効率性に関する議論の一部です。15のデータセットを使って、77Mから40Bパラメータの様々な言語モデルのゼロショットテキスト分類の性能を評価しました。その結果、小規模モデルが大規模モデルと同等以上の性能を発揮できることが明らかになりました。また、リソース効率の高い小規模モデルが特定のデータ分類課題に対して有効な解決策を提供できる可能性を示唆しています。
Stats
大規模モデルは資源集約的で、コストがかかり、すべての課題に対して性能が保証されているわけではない。
小規模モデルの性能が大規模モデルと同等以上であることが示された。
Quotes
"大規模言語モデル(LLM)は、プロンプティングを通じて課題を解決するために大幅に好まれてきた。しかし、その有用性は広範囲にわたるものの、リソース集約的であり、採用するのが高価であり、すべての課題に対して性能が保証されているわけではない。"
"本研究は、小規模モデルがゼロショットテキスト分類において効果的に機能できるかどうかを調査することを目的としている。"