腾讯混元团队在 Reddit 开展 120 分钟 AMA,回应模型参数规模路线。面对字节跳动、Kimi 等推进 3 万亿至 5 万亿参数超大模型,团队表示 Hy3 和 Hy4 已证明,做得扎实的小模型也能超过更大模型,且成本更低。
团队称 Hy4 仍有改进空间,正投入大规模强化学习,继续改善用户体验和模型安全,并计划训练更大规模模型。对于 240 亿至 310 亿参数稠密模型,团队表示正在考虑;对标 Qwen 27B 稠密小模型有可能,100B 以下专门编程模型大概不会。
姚顺雨现任腾讯首席 AI 科学家,兼任 AI Infra 部与大语言模型部负责人。腾讯此前升级大模型研发架构,并将混元多模态与大语言模型部门合并为基础模型部,由其统一管理。
评论
正在加载评论…