小規模言語モデルのサービングにおけるパレート最適スループットの実現

小規模言語モデルのサービングでは、単一のアクセラレータ内でパレート最適なスループットを実現できる。