小米公布 MiMo-V3 核心架构 HySparse2，Prefill 计算降至五分之一

小米 MiMo 团队公布面向 MiMo-V3 的核心架构 HySparse2，瞄准下一代长上下文 Agent。新架构引入两级 KV 共享与 token 级稀疏选择，旨在以更低成本处理网页、文件和工具调用记录。

HySparse2 将模型分为 Self-Decoder 与 Cross-Decoder 两部分，通过 KV Bridging 提前构建后半部分缓存，并在同一 Hybrid Block 内复用 KV 与选择结果。稀疏选择从块级升级为 token 级，同时强制保留最近 128 个 token 的局部窗口。

在 80B-A3B MoE 模型上，百万 token 场景下 HySparse2 的 Prefill 计算量降至 Hybrid SWA 的五分之一，KV Cache 从 12GB 降至 2.7GB。49 层模型中 Prefill 只需执行前 25 层，部署时模型权重存储接近减半。

长文检索同步改善，MRCR-v2 和 RULER-v2 平均分较第一代 HySparse 分别提高 11.30 和 19.81 个百分点。