上海稀宇科技有限公司(MiniMax)近日在 X 平台预告将推出 MiniMax M3 系列模型,并回顾了 M2.x 系列的技术细节。M2 系列总参数 229.9B,每个词元仅激活 9.8B 参数,主打“低激活、高智能”,配备 192K 上下文窗口,预训练数据规模达 29.2T 词元。模型采用 62 层解码器式 Transformer,使用 256 个细粒度专家,每个词元激活 8 个专家。
在训练系统层面,MiniMax 提出面向智能体的强化学习系统 Forge,支持白盒与黑盒智能体统一接入,通过训练、推理与智能体解耦,降低长轨迹训练成本。其中最受关注的 M2.7 版本已实现“自我进化”雏形,能自主排查训练失败、阅读日志、修改脚手架代码,并在内部任务上完成 100 轮自主迭代。
论文称,该系统已吸收团队 30%至 50%的日常迭代工作量,在内部编程脚手架优化中带来 30%性能提升,显示模型开始参与自身开发闭环。
评论
正在加载评论…