字节 Seed 团队论文揭示 DeepSeek 长上下文检索不稳根源：相位敏感性

大型语言模型处理长文本时，普遍采用分块 KV 缓存压缩技术，将连续标记窗口压缩为更少缓存条目，以降低长上下文推理的内存与注意力成本。

字节 Seed 团队在预印本平台 arXiv 发表论文指出，此类压缩会引入新的位置坐标——Token 相位，即标记相对压缩窗口边界的位置。团队评估了 DeepSeek-V4-Flash、DeepSeek-V4-Pro 及 DeepSeek-V4.1-Flash 等模型，发现相同信息在不同相位下的检索难度存在系统性差异，并称之为相位敏感性。

研究显示，采用此类压缩的大型开放权重模型中，长上下文检索准确度在不同相位间差距最高可达 40 个百分点。平均基准分数可能掩盖这一周期性弱点，为部分模型长文本表现不稳定提供了新的解释视角。