腾讯混元 Hy3 preview 语言模型发布并开源 支持 256K 上下文长度

腾讯混元 Hy3 preview 语言模型于近日发布并开源。这是一款融合快慢思考的混合专家模型，总参数达 2950 亿，激活参数数 210 亿，最高支持 256K 上下文长度，是混元系列迄今最智能的模型。

今年 2 月月，腾讯为混元重建了预训练和强化学习基础设施。腾讯首席 AI 科学家姚顺雨表示，Hy3 preview 是混元大模型重建的第一步，团队将继续扩大预训练和强化学习规模，提升模型的智能上限。