百度开放 ERNIE 5.5 Flash 基础模型权重：总参数 280B 的稀疏 MoE 架构

百度文心发布 ERNIE-5.5-Flash-Base，开放预训练终点权重。该模型为稀疏 MoE 架构，总参数 280B，每 token 激活 14B，在 33.5T tokens 语料上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。模型最长训练上下文为 128K，微调与推理支持 1M tokens。预训练语料重点建设网页、代码与长文三类数据，代码数据涵盖 commit、issue、代码评审及经 CI 验证的修复等软件演化信息。本次权重未经中训练与后训练，可作为领域适配、指令微调与强化学习研究的共同起点。官方在 30 项基准上评测该模型，覆盖知识、推理、多语言、代码与长上下文七类能力，各维度表现良好。经后训练的 ERNIE 5.5 Flash 将随后推出。