言語モデルにおけるトークン化の理論的分析

言語モデルにおけるトークン化は、単純なマルコフ過程のデータを効果的にモデル化するために必要不可欠である。