トークン化は圧縮以上のものであること

BPEなどの既存のトークン化手法は、テキストを比較的少数のトークンに圧縮する能力から効果が生じるとされているが、実際にはトークン数を減らすことが下流タスクのパフォーマンス向上につながるかどうかに疑問が投げかけられている。