大規模言語モデルの推論速度を向上させるための知識蒸留を用いたスペキュレーティブデコーディングの改善

知識蒸留を用いて小型のドラフトモデルを大型のターゲットモデルに適合させることで、スペキュレーティブデコーディングの速度を10-45%向上させることができる。