7个月前美国AI 大模型AI 搜索谷歌 TurboQuant 算法大幅降低 AI 内存占用 存储芯片板块受冲击AI 大模型运行时的键值缓存(KV Cache)常因高维向量占用大量内存导致性能瓶颈。谷歌研究院推出全新压缩算法 TurboQuant,通过 PolarQuant 和 QJL 两项核心技术,在不牺牲模型性能的前提下,将键值缓存内存占用降至原来的 1/6。该算法在 Gemma 等开源模型测试中实现零精度损失,且在 H100 GPU 上推理速度提升 8 倍。受此影响,存储芯片板块股价下跌,美光科技、西部数据等巨头股价均出现不同程度下滑。收藏已收藏收藏分享复制链接文中提及的 AI 工具
评论
正在加载评论…