4个月前中国大陆AI 大模型AI 开源模型腾讯提出 Stem 稀疏注意力算法,被 ICML-26 收录腾讯混元团队提出 Stem 稀疏注意力算法,该成果已被机器学习顶会 ICML-26 收录。该算法从“因果信息流”角度重新审视块级稀疏注意力,通过 Token 位置衰减(TPD)和输出感知度量(OAM)两项创新,仅用 25%的算力即可逼近稠密注意力的精度。在配套的 HPC 算子库支持下,Stem 算法实现了端到端的性能提升。在 128K 上下文长度下,首字延迟降低 3.6 倍。相关论文和代码已在 GitHub 上开源,为 AI 大模型的高效推理提供了新的技术路径。收藏已收藏收藏分享复制链接文中提及的 AI 工具
评论
正在加载评论…