蚂蚁集团旗下百灵实验室本月陆续开源了 Ling-3.0-tiny 和 Ling-3.0-flash 模型,并正式放出 Base 版本。此次开源不仅提供最终 Base checkpoint,还同步开放了预训练和中期训练的权重,共计 6 个 checkpoints,覆盖不同训练阶段,方便研究者进行持续预训练、监督微调、偏好优化、强化学习后训练及蒸馏等操作。
Ling-3.0-tiny-base 总参数量 7.9B,激活参数 1.3B,相比前代总参数减少约 50%,却在多数评测中取得更好成绩,代码能力尤为突出。Ling-3.0-flash-base 总参数 124B,激活参数 5.1B,采用稀疏激活设计,为更大规模训练和真实场景适配提供了开放底座。
官方特别提醒,Base 模型未经过指令对齐,不建议直接部署为聊天服务或用于安全关键型应用,需完成后训练与评估。此外,中期训练后采用 WSM(Warmup-Stable and Merge)技术替代传统学习率衰减,使模型更适合持续预训练和动态扩展。
文中提及的 AI 工具
评论
正在加载评论…