摩尔线程开源 Megatron-MUSA-Titan，支持万卡集群训练万亿参数 MoE 模型

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练需求，覆盖预训练与强化学习两大场景，为开发者提供 MUSA 平台的训练适配与系统优化能力。该项目已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用，经过长时间训练实践检验，实现高算力利用率与长稳训练，并支持与 slime、miles 强化学习框架协同，构建贯通预训练与强化学习的训练基础。技术方面，项目支持 blockwise FP8 训练，将 GPU 低精度计算能力引入训练流程，并可结合 DeepEP 与 ACE 异步通信引擎，加速 MoE 中的 Token 分发与结果合并，提升端到端训练效率。