微软宣布已完成新一代基础模型 MAI-Base-2 的预训练工作。该模型总参数规模达 2.8T,活跃参数规模 80B,官方称其性能强于所有参测的开源权重模型。
在训练层面,MAI-Base-2 在 6000 个 NVIDIA GB200 GPU 上历经 38 天完成训练,平均浮点算力利用率为 21%,有效吞吐量为 89%。据微软介绍,其预训练算力效率是 DeepSeek-V4-Pro-Base 的 4 至 12 倍。
微软表示,科学规模化、模型与基础设施协同设计、数据规模化三项举措对本次预训练尤为关键。目前该公司已启动新一代模型 MAI-Base-3 的准备工作。
评论
正在加载评论…