Основні поняття
限定された教師データでも、小規模専門モデルは大規模汎用モデルと同等以上の性能を達成できる。ただし、必要な教師データ数は課題特性によって大きく異なる。
Анотація
本研究では、限定された教師データ数での小規模専門モデルと大規模汎用モデルの文章分類性能を比較した。
- 7種類のモデルと8種類の文章分類タスクを用いて実験を行った。
- 小規模専門モデルは、わずか10~1000個の教師データで大規模汎用モデルを凌駕できることがわかった。
- ただし、必要な教師データ数は課題特性によって大きく異なり、バイナリ分類タスクでは最大5000個、マルチクラス分類タスクでは最大100個の教師データが必要だった。
- さらに、性能のばらつきを考慮すると、必要な教師データ数は平均で100~200%、最大で1500%増加した。
Статистика
小規模専門モデルは、わずか10~1000個の教師データで大規模汎用モデルを凌駕できる
バイナリ分類タスクでは最大5000個、マルチクラス分類タスクでは最大100個の教師データが必要
性能のばらつきを考慮すると、必要な教師データ数は平均で100~200%、最大で1500%増加する
Цитати
"小規模専門モデルは、わずか10~1000個の教師データで大規模汎用モデルを凌駕できる"
"バイナリ分類タスクでは最大5000個、マルチクラス分類タスクでは最大100個の教師データが必要"
"性能のばらつきを考慮すると、必要な教師データ数は平均で100~200%、最大で1500%増加する"