本論文は、大規模言語モデル(LLM)を用いたテキスト分類タスクの効率化に取り組んでいる。
まず、LLMを使ってわずかな実データ(1クラスあたり4例)から合成データを生成する。次に、同じLLMを使ってその合成データをフィルタリングし、ラベル不整合な例を除去する。最後に、フィルタリングされた合成データと実データを組み合わせて、LLMをPEFT(Parameter-Efficient Fine-Tuning)手法で微調整する。
実験の結果、この3ステップのアプローチにより、ICLよりも高速で、かつ同等以上の精度を達成できることが示された。特に、TREC質問分類タスクでは、ICLの精度0.6に対し、提案手法は0.84と大幅に改善された。
提案手法の利点は、LLMの生成能力と分類能力を組み合わせることで、少数の実データを効果的に活用できるようになったことにある。一方、合成データの多様性が不足すると性能が頭打ちになる課題がある。今後の課題として、合成データの品質と多様性を高める手法の検討が挙げられる。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Parth Patwa,... at arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02422.pdfDeeper Inquiries