英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家