トークンアライメントによるサブワード補完の文字一致

部分トークンの課題を解決するためのトークンアライメント手法が、生成モデルの性能向上に有効であることを示す。