英伟达在 MLPerf v6.0 测试中刷新 DeepSeek-R1 推理速度纪录，每秒每 GPU 处理 8064 词元

近日，在 MLPerf v6.0 AI 推理基准测试中，英伟达凭借 Blackwell Ultra 架构（GB300 NVL72）取得全方位领先成绩，不仅推理表现位列第一，训练 wins 数量更是超过最接近竞争对手 9 倍。该测试版本新增多种生成式 AI 模型，重点考察密集型大语言模型和视觉语言模型的推理交互性与大规模多节点系统性能。

在 DeepSeek-R1 服务器端测试中，英伟达实现每秒每 GPU 处理 8064 个词元的成绩，较 v5.1 版本速度提升 2.77 倍。此外，Llama3.1 405B 模型在服务器及离线测试中，性能也分别提升 1.52 倍和 1.21 倍，展现出强大的 AI 推理能力。