대형 언어 모델 학습을 위한 토크나이저 선택: 무시할 수 있는 것인가, 아니면 핵심적인가?

토크나이저 선택이 대형 언어 모델의 하위 작업 성능과 학습 비용에 상당한 영향을 미칠 수 있다.