腾讯混元团队推出 Hy4 flash,官方将其定位为目前性价比最高的混元模型。该模型总参数 224B,其中包含 64B Engram 参数,每个 token 激活 12B,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 明显降低。
成本下降来自预训练、后训练与推理三个阶段的协同优化。预训练引入混合注意力、LatentMoE 与 Engram 等架构,KV cache 降至 Hy3 的 1/24、Hy4 的 1/6;后训练通过自蒸馏与强化学习,将端到端输出长度压缩 50%;推理阶段结合 megakernel、4bit 量化等手段,解码速度超过 150 tps。
在官方 WorkIndex 评测集上,Hy4 flash 单任务成本为 Hy4 preview 的 1/13、Hy4 的 1/20。85 位内部用户在 259 个日常任务中的盲测显示,其满意度接近 Claude Haiku 5.5,单任务成本低于所有对比模型,任务时长最短。
该模型已在腾讯云 TokenHub、WorkBuddy、元宝、企业微信、QQ、ima 等产品上线,并计划开源、保持高频迭代。
评论
正在加载评论…