商汤开源 SenseNova Loop-9B 模型,9B 参数性能媲美 27B 模型

小参数模型如何实现大模型性能,是行业探索的重点方向。商汤科技宣布开源 SenseNova Loop-9B-Preview,仅 9B 参数便实现媲美 27B 模型的表现。

该模型采用 Looped Transformer 架构,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度,并引入 mHC 机制增强特征交互。

评测显示,模型在代码生成、办公场景和智能体任务上优于同类模型,并在 WorkBuddy Bench 等评测中超过 Qwen3.5-27B。引入 mHC 后,GPQA Diamond 和 TeamBench 分别提升 4.42 分和 13.34 分。

模型已在 GitHub 和 Hugging Face 开源,后续将探索 DSA、自适应迭代次数等机制,提升推理效率与任务表现。

推广DomoAI

评论

正在加载评论…