下載 Linnk AI
•
AI 研究助理
>
登入
洞見
-
高性能LLM服務框架NanoFlow
NanoFlow: 比vLLM和TensorRT-LLM更快的開源LLM服務框架
NanoFlow是一個高性能的LLM服務框架,通過使用設備內並行、異步CPU調度和SSD卸載等技術,可以顯著提高LLM模型的吞吐量,比TensorRT-LLM最高達1.91倍。
1