NanoFlow: 比vLLM和TensorRT-LLM更快的開源LLM服務框架

NanoFlow是一個高性能的LLM服務框架,通過使用設備內並行、異步CPU調度和SSD卸載等技術,可以顯著提高LLM模型的吞吐量,比TensorRT-LLM最高達1.91倍。