国产大模型 DeepSeek-V4 今日上线,包含 285B 参数的 flash 版和 1.6T 参数的 pro 版。寒武纪基于 vLLM 推理框架第一时间完成 Day 0 适配,适配代码已开源至 GitHub 社区。
此次适配依托寒武纪 NeuWare 软件生态、与众智 FlagOS 的合作及自研 CNAgent 智能体,实现快速迁移。同时通过 Torch-MLU-Ops 融合算子库、vLLM 的 5D 混合并行等优化,释放模型推理潜能,降低算力成本,为中国 AI 产业提供高效部署方案。
文中提及的 AI 工具
评论
正在加载评论…