腾讯混元 Hy3 推出量化版本，单卡可运行 295B 参数模型

腾讯混元团队今日宣布，其旗舰模型 Hy3（295B 参数）推出量化版本，包括 1bit 和 4bit 两种规格。此前，Hy3 的 BF16 权重接近 600GB，需多卡服务器才能部署。量化后，1bit 版本体积缩小至 85.5GiB，可在单张 96GB 推理显卡上运行；4bit 版本为 169.9GiB，两张显卡即可承载。

量化版本在性能上表现稳健。4bit 版本在多数任务上与原始 BF16 模型输出分布高度一致，Agent 能力、多语言代码、工具调用及长文理解等成绩贴近满血模型。1bit 版本在长文理解方面几乎持平，Agent 与代码方向仅小幅回落，满足日常编码辅助、文档处理等需求。

团队还开发了针对 Hy3 的 MTP 投机解码补丁，开启后 1bit 版本解码速度提升约 50%，4bit 版本提升近 60%，交互体验流畅。量化版本已打包为 GGUF 格式，配合 llama.cpp 生态，降低了旗舰模型的部署门槛。