多智能体系统 Token 消耗太高？Ramp Labs 新方案可降低 65%且不影响准确率

多智能体系统在任务拆解和反复调用模型时，推理链路延伸会导致 Token 用量指数级增长，这是当前规模化应用的一大痛点。AI 基础设施公司 Ramp Labs 发布的 Latent Briefing 方案，通过注意力机制识别上下文关键信息，直接在表示层压缩 KV 缓存，无需依赖慢 LLM 摘要或不稳定的 RAG 检索。

在 LongBench v2 测试中，该方案表现优异：Worker 模型 Token 消耗降低 65%，32k 至 100k 中等长度文档的 Token 节省中位数达 49%，准确率较基线提升约 3 个百分点，而每次压缩仅需 1.7 秒，比原始算法快 20 倍。实验以 Claude Sonnet4 为编排者、Qwen3-14B 为工作者模型，覆盖多类文档场景，且最优压缩阈值因任务难度和文档长度而异。