中电信人工智能科技有限公司于 9 月 17 日正式发布新一代星辰大模型 Xing4.0-29B-A4B。该模型聚焦复杂任务理解、任务规划、工具调用和自主执行等能力,支持长上下文处理,可应用于代码开发、数据分析、办公自动化及生活服务等场景。模型总参数 29B,激活参数仅 4B。
华为宣布,这是中国首个基于昇腾 Atlas 900 A3 SuperPoD 液冷超节点与昇思 MindSpore 框架完成训练的百亿参数大模型,面向复杂工程任务进行深度优化。模型采用 MLA 注意力压缩、MT 多 Token 预测及 mHC 流形约束超连接等架构设计,训练序列长度从 4K 逐步扩展至 256K。
工程优化方面,通过软硬件协同实现训练性能提升 96%,细粒度 MoE 吞吐提升 32%,自研 Ascend C 算子计算效率提升 30%。基于昇腾生态完成 Slime 强化学习框架适配,面向 Agent、Coding、Reasoning 开展多专家强化学习训练。目前昇腾已支持 40 余个业界头部模型完成原生训练。
文中提及的 AI 工具
评论
正在加载评论…