在 2026 MWC 上海展期间,华为与中国移动湖北公司联合宣布,双方已完成全国运营商首个 AI 推理加速解决方案现网测试。该测试基于华为 OceanStor A800 存储与昇腾 A3 超节点架构,搭载 UCM 推理记忆数据管理技术。
在长序列 AI 推理场景下,UCM 技术通过外置存储提供 PB 级 KV Cache,打破传统高带宽内存容量限制,实现 Token 吞吐率最高提升 372%。测试覆盖 MiniMax M2.5 和 GLM-5.1 等主流大模型,模拟 8K 至 190K 长序列输入。
结果显示,MiniMax M2.5 模型下,首 Token 延迟优化 26%-62%,128K 序列中输出效率提升 78%;GLM-5.1 模型下,首 Token 延迟优化 51%-93%,128K 序列中输出效率提升 372%。华为指出,随着上下文长度增加,该方案优势持续放大,有效解决长序列推理的 KV Cache 容量瓶颈。
文中提及的 AI 工具
评论
正在加载评论…