小米 MiMo-V2.5 系列 API 已完成永久降价,最高降幅达 99%。该系列模型采用 Hybrid SWA+MoE+多模态复合架构,通过系统性重构推理栈,将 KVCache 存储压缩至同级方案的约 1/7,显著降低长序列场景下的推理成本。
核心优化包括双池分治的 KVCache 管理、前缀缓存树重构、三级缓存系统 GCache,以及调度与 Prefill/Decode 链路的全面适配。Decode 阶段通过显存扩容和 MTP 投机解码,前 128 token 加速比达 2.3 倍。多模态推理方面,Encoder 吞吐提升至 2 倍,1 小时视频端到端延时从 156 秒降至 23 秒。
小米表示,此次降价基于推理系统工程能力的提升,模型能力未缩减。部分优化已回馈 SGLang 开源社区,未来将持续推进开源计划,推动复合架构的广泛应用。
文中提及的 AI 工具
评论
正在加载评论…