英伟达宣布,在其 Blackwell 平台上,通过优化全栈推理,DeepSeek V4 模型的单 Token 成本已降至一个月前的五分之一。单 Token 成本是衡量 AI 总拥有成本的核心指标,英伟达声称已将这一成本降至行业最低。
技术优化通过三层实现:生产运营层负责服务编排与内存管理,应用加速层优化计算与通信重叠,基础设施访问层调用 GPU 和网络能力。性能方面,Blackwell 平台单 GPU 的 token 吞吐量最高可提升 20 倍。
文中提及的 AI 工具
英伟达宣布,在其 Blackwell 平台上,通过优化全栈推理,DeepSeek V4 模型的单 Token 成本已降至一个月前的五分之一。单 Token 成本是衡量 AI 总拥有成本的核心指标,英伟达声称已将这一成本降至行业最低。
技术优化通过三层实现:生产运营层负责服务编排与内存管理,应用加速层优化计算与通信重叠,基础设施访问层调用 GPU 和网络能力。性能方面,Blackwell 平台单 GPU 的 token 吞吐量最高可提升 20 倍。
评论
正在加载评论…