LLMを使ってユーザーの指示に従ってテキスト分類器をインキュベートする

Kernekoncepter

ユーザーの任意のクラス定義に基づいてテキスト分類データを生成し、人手による注釈や生コーパスなしでも小さなテキスト分類器をトレーニングできる。

Resumé

本論文では、ユーザーの任意のクラス定義(つまりユーザーの指示)に基づいてテキスト分類データを生成することを目的としている。これにより、人手による注釈や生コーパスなしでも小さなテキスト分類器をトレーニングできる。従来の試みと比べて、提案するIncubatorは、複雑で相互依存的なクラス(例えば「教育者によるTEDトーク」と「その他」)も扱えるのが特徴。

具体的には、Incubatorは、HuggingFaceのクラシフィケーションデータセットと説明から得られた指示-データマッピングを使ってチューニングされたLLMである。さらに、セマンティックテキスト埋め込みのクラスタ中心を学習することで、生成の一様性とセマンティックの多様性を強調する。

様々な分類タスクでIncubatorを強力なベースラインと比較した実験では、(1)従来のベンチマークでも良好なパフォーマンスを発揮し、(2)ラベルの依存関係とユーザーの好みを考慮し、(3)複数の分類器をインキュベートすることで論理的なテキストマイニングを実現できることを示した。

Statistik

提案手法Incubatorは、従来のベースラインと比べて、従来のベンチマークタスクで平均10%以上の精度向上を達成した。
Incubatorは、「その他」クラスを含むデータセットでも、ラベルの相互依存性を考慮することで、ベースラインを大きく上回る精度を示した。
Incubatorは、ユーザーの好みを反映した複雑なクラス定義に基づいて、高精度のテキストマイナーを生成できることを示した。

Citater

"ユーザーの任意のクラス定義(つまりユーザーの指示)に基づいてテキスト分類データを生成し、人手による注釈や生コーパスなしでも小さなテキスト分類器をトレーニングできる。"
"提案するIncubatorは、複雑で相互依存的なクラスも扱えるのが特徴。"
"Incubatorは、ラベルの依存関係とユーザーの好みを考慮し、複数の分類器をインキュベートすることで論理的なテキストマイニングを実現できる。"

Vigtigste indsigter udtrukket fra

Incubating Text Classifiers Following User Instruction with Nothing but LLM

by Letian Peng,... kl. arxiv.org 04-18-2024

https://arxiv.org/pdf/2404.10877.pdf

Dybere Forespørgsler

ユーザーの指示に基づいてインキュベートされた分類器をどのように実世界のアプリケーションに適用できるか?

Incubatorによって生成されたカスタマイズされた分類器は、実世界のアプリケーションに幅広く適用できます。例えば、電子メールシステムやテキストマイニング、レコメンダーシステムなどの自然言語処理システムで利用することが可能です。ユーザーが指示した条件に基づいて生成された分類器は、特定のタスクやニーズに合わせてカスタマイズされているため、高い精度でテキストを分類することが期待されます。これにより、情報の整理やカテゴリ化、自動化されたタスクの実行など、さまざまな実用的なアプリケーションに活用できます。