蚂蚁百灵开源轻量级混合推理模型 Ling-3.0-tiny

蚂蚁集团旗下百灵团队于 8 月 11 日在 Hugging Face 平台开源了轻量级混合推理模型 Ling-3.0-tiny。该模型采用 MoE 架构，总参数 7.9B，每 Token 激活 1.3B 参数，提供 BF16、FP8 和 INT4 三种权重版本，适配不同部署需求。

Ling-3.0-tiny 主打低成本推理，通过高效混合线性架构，将 KDA 和 MLA 按 3:1 比例交替堆叠，并采用包含 128 个路由专家的稀疏 MoE 前馈网络，在上下文处理能力和计算成本间取得平衡。

模型支持快速响应和多步骤推理模式，专为本地部署设计，已在英伟达 DGX Spark、Apple Silicon MacBook 等设备验证。在 M4 Pro MacBook 上推理速度约 86-90 Token/s，8K 上下文下峰值内存占用约 8.34 GiB。