大規模言語モデルの分散投機的推論は確実に高速化される

分散投機的推論(DSI)は、従来の投機的推論(SI)や非投機的推論(non-SI)よりも高速化できることを証明した。DSIは、複数のGPUを活用することで、ドラフターの精度や速度に依存せずに、常に非SI以上の性能を発揮する。