AMD 于 7 月 24 日发布 Instella-MoE 系列开源模型,总参数量 160 亿,激活参数量仅 28 亿,采用 27 层解码器架构,在 AMD 自研 Instinct MI300X 和 MI325X GPU 上训练完成。
该系列共 6 个版本,涵盖预训练、长上下文、监督微调等阶段。其中 Instella-MoE-16B-A3B-Think 版本在强化学习优化后,以更少活跃参数超越 Google 的 Gemma-4-E4B-it 模型。
训练完全基于 AMD ROCm 软件栈,通过 FarSkip-Collective 技术将预训练速度提升 12.7%。推理阶段使用 SGLang 框架,首次 Token 响应时间最多缩短 39.2%,展示了 AMD 在 AI 基础设施领域的竞争力。
文中提及的 AI 工具
评论
正在加载评论…