小红书正式发布 dots3-note preview 开源大模型,这是 dots3 系列的首个版本。该模型以 280B 总参数和 16B 激活参数为基础,支持文本、视觉和语音的全模态感知。华为昇腾团队在模型发布当天完成 0 Day 适配,基于 vLLM Ascend 推理引擎提供完整部署能力。
昇腾通过 FlashComm 通信优化、FUSED_MC2 通算融合等技术,提升了多卡推理效率。同时原生支持 MTP 投机解码,显著降低单 Token 生成耗时,为高并发场景提供算力支撑。官方表示,该模型在多项任务上比肩国内外更大尺寸模型的效果。
文中提及的 AI 工具
评论
正在加载评论…