谷歌为 Gemma 4 系列 AI 模型推出 MTP 起草器 推理速度最高提升 3 倍

谷歌近日为 Gemma 4 系列 AI 模型推出多 Token 预测（MTP）起草器，采用推测解码架构，可在不降低输出质量的前提下将推理速度提升最高 3 倍。作为谷歌当前能力最强的开源模型，Gemma 4 发布仅数周下载量已突破 6000 万次。

该技术针对大模型推理的内存带宽瓶颈问题，通过将重型目标模型（如 Gemma4 31B）与轻量级 MTP 起草器配对，利用闲置算力预测多个未来 Token，再由目标模型并行验证。实测显示，在 Apple Silicon 芯片上，Gemma4 26B 模型在批次大小 4-8 时实现约 2.2 倍本地加速。

这一更新能让开发者在个人电脑或消费级显卡上流畅运行复杂离线编程和智能体工作流，降低边缘设备能耗，适用于聊天机器人、编程助手等低延迟需求场景。