優化端到端效率的資源節約型大型語言模型服務框架 - ScaleLLM

ScaleLLM是一個優化的大型語言模型服務系統,通過優化服務引擎和路由網關,實現了資源高效利用和低延遲高吞吐的服務性能。