腾讯发布 Hy4 preview 轻量版，模型压缩至 214GB

腾讯混元团队推出 Hy4 preview 轻量版，将模型权重从近 1.5TB 压缩至约 214GB。该模型基于 8 月 28 日发布的开源 MoE 大语言模型 Hy4 preview，拥有 7700 亿参数，激活参数 490 亿，支持 100 万 Token 上下文。

压缩技术包括 Sherry 稀疏三值量化算法和 MIX-STQ1_0 混合精度策略，使模型在主流任务上保持稳定，长文理解几乎与原始版本持平，数学能力略有下降。

在异构设备联合推理方面，腾讯与 prima.cpp 合作，通过单张 4090 笔记本和四卡 A4000 服务器实现 1.02 token/s 的推理速度，比单机快约 6 倍。轻量版已上线 Hugging Face 和 GitHub，支持 llama.cpp、vLLM 等框架。