阿里云宣布,其灵骏真武 M890 超节点实例成功适配月之暗面旗下 2.8 万亿参数大模型 Kimi K3。该模型采用混合专家(MoE)架构,是当前参数规模最大的旗舰模型之一。
灵骏真武超节点基于平头哥训推一体 AI 芯片真武 M890 打造,通过 ICN Switch 1.0 互联芯片实现 64 张 M890 的 800 GB/s 高速互联,总显存达 9TB。这一架构能高效处理万亿级 MoE 模型的专家并行通信,提升 Token 生成效率。
阿里云、平头哥与 Kimi 团队从芯片、软件栈等层面深度协同,实现 Kimi K3 模型 Day0 适配。真武芯片的 T-Head SAIL 软件栈让 Kimi 自研 Mooncake 推理框架即开即用,同时 M890 支持 Triton,使基于 Triton 编写的自定义算子无需重写,大幅降低适配工作量。
文中提及的 AI 工具
评论
正在加载评论…