英伟达 GB300 创 MoE 预训练世界纪录，性能较上代提升 3 倍

英伟达宣布其 Blackwell GB300 系统在 MoE（混合专家模型）预训练中创下世界纪录，每 GPU 算力达 1648 TFLOPs。MoE 架构通过分割模型为多个专家子网络，仅激活部分单元，可在更低成本下实现更大模型容量。

在 256 块 GPU 上预训练 DeepSeek-v3 671B 模型时，GB300 NVL72 实现了每 GPU 吞吐 1648 TFLOPs 的新纪录，用更少硬件达到相同性能。英伟达通过模拟超 25 万种配置，发现 38 项优化方案，累计进行 140 万小时 GPU 测试。

与 2025 年 11 月的 1088 TFLOPs 相比，GB300 性能提升 50%；对比上代 GB200 的 606 TFLOPs，则实现约 3 倍跃升。该成果展示了硬件与系统优化的协同进步。