DeepSeek 联合北京大学发布 DSpark 推理加速框架,旨在解决大语言模型在高并发生产环境中的推理效率瓶颈。该框架已部署于 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro 的预览版服务引擎中。
DSpark 采用半自回归架构与置信度调度验证机制,在候选生成和验证调度两个环节进行优化。在离线基准测试中,DSpark 在 Qwen3 系列、Gemma4-12B 等模型上的平均每轮接受长度均优于 Eagle3 和 DFlash 两类基线方案。
在 DeepSeek-V4-Flash 引擎的生产环境实测中,当单用户生成速度不低于 80 token/s 时,DSpark 的聚合吞吐量相比原有基线提升 51%;在 DeepSeek-V4-Pro 引擎上,35 token/s 的服务水平协议下吞吐量提升 52%。匹配吞吐量水平下,单用户生成速度提升 57% 至 85%。
DSpark 相关论文、训练代码及模型检查点已在 GitHub 开源,为行业提供了一种兼顾推理速度与生成质量的技术路径。
评论
正在加载评论…