英伟达优化 Kimi K3 推理速度达 423 tok/s，同硬件性能提升 1.68 倍

调研机构 SemiAnalysis 发布报告称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上实现每用户每秒 423 个 Token 的推理速度，相同硬件条件下性能提升 1.68 倍。

该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合实现，并使用 Cute DSL 编写了英伟达新推出的解码专用内核，整个 Megakernel 包含 1.2 万行代码。

业内观点认为，这种 AI 辅助生成高级计算内核的方式代表着未来技术方向。英伟达目前还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化，大模型推理效率的硬件适配能力正在持续增强。