LLMトレーニングのためのトークナイザー選択：取るべきか否か？

トークナイザーの選択はLLMモデルの下流パフォーマンスに重大な影響を与える可能性がある。