AI 大模型运行时的键值缓存(KV Cache)常因高维向量消耗海量内存,导致性能瓶颈。谷歌研究院推出全新压缩算法 TurboQuant,通过 PolarQuant 和 QJL 两项核心技术,在不牺牲模型性能的前提下,大幅降低内存占用。
测试显示,TurboQuant 可将键值缓存压缩至 3 比特,内存占用减至原来的 1/6,推理速度提升 8 倍。这一技术冲击存储芯片市场,美光科技、西部数据等巨头股价均出现下跌,闪迪跌幅达 6.5%。
AI 大模型运行时的键值缓存(KV Cache)常因高维向量消耗海量内存,导致性能瓶颈。谷歌研究院推出全新压缩算法 TurboQuant,通过 PolarQuant 和 QJL 两项核心技术,在不牺牲模型性能的前提下,大幅降低内存占用。
测试显示,TurboQuant 可将键值缓存压缩至 3 比特,内存占用减至原来的 1/6,推理速度提升 8 倍。这一技术冲击存储芯片市场,美光科技、西部数据等巨头股价均出现下跌,闪迪跌幅达 6.5%。
评论
正在加载评论…