美团龙猫团队开源 LongCat-Next,这是一款基于 MoE 架构、激活参数 3B 的原生多模态模型,在单一自回归框架下统一了文本、视觉理解、图像生成、语音理解和语音合成五种能力。该模型及配套分词器以 MIT 许可证开源,权重已上线 HuggingFace。
其核心设计采用 DiNA(离散原生自回归)范式:为每种模态设计配对的分词器和解码器,将视觉和音频信号转化为离散 token,与文本共享同一嵌入空间,通过统一的 next-token prediction 完成所有任务。视觉侧组件 dNaViT 能提取‘视觉词’,支持动态分词和解码,在 28 倍压缩比下仍保持图像生成质量,尤其文字渲染表现突出。
在同等激活参数量级(A3B)模型中,LongCat-Next 在视觉理解(MathVision64.7)、图像生成(LongText-EN93.15)、编程(SWE-Bench43.0)及 Agent 工具调用(Tau2-Retail73.68)等基准测试中表现优异。在统一模型对比中,其 MMMU 得分 70.6 领先,且未牺牲纯文本和 Agent 能力。
文中提及的 AI 工具
评论
正在加载评论…