华为开源 505B 参数 openPangu-2.0-Pro 模型

华为于近日正式开源了 5050 亿参数的 openPangu-2.0-Pro 模型，包括模型权重、基础推理代码及技术报告。该模型是基于昇腾 NPU 训练的大规模混合专家（MoE）语言模型，每 token 激活参数约 180 亿，支持 512k 上下文长度，训练数据总量约 34T tokens。后训练阶段完成了快慢合一微调（SFT）和多专项强化学习（RL），并通过在线蒸馏（OPD）实现能力合一。

在架构上，openPangu-2.0-Pro 采用了 DSA+SWA 独立分层混合 Attention 架构，提升长序列推理效率；升级了 4 支流 mHC 残差连接，增强表征多样性；引入 3 头 MTP 自投机模块，加速推理；训练中使用 Muon 优化器，加快收敛速度。此前，92B 参数的 openPangu-2.0-Flash 已于 6 月 30 日开源。华为常务董事余承东表示，算力大量支持了国内其他企业需求，自身资源有限，但更聚焦时延和吞吐率的提升。