Cloudflare 进军大模型推理:首发 Kimi K2.5,内部安全 Agent 日耗 70 亿 token 成本降 77%
Cloudflare 近日宣布其 Workers AI 平台开始支持大模型推理,首个上线模型为月之暗面的 Kimi K2.5,具备 256K 上下文窗口、多轮工具调用、视觉输入及结构化输出能力,Agents SDK 模板已将其设为默认模型。
Cloudflare 内部已将 Kimi K2.5 应用于日常开发:工程师在 OpenCode 环境中用它作为编程 Agent 主力模型,还接入自动代码审查流水线。其中安全审计 Agent 每日处理超 70 亿 token,在单个代码库中发现 15 个以上确认安全问题,切换至该模型后成本降低 77%(原中档商业模型年成本约 240 万美元)。
平台同步推出三项改进:前缀缓存折扣(多轮对话已处理 token 不再重复计费)、Session affinity header(同一会话路由至同一实例提升缓存命中率)、异步批量推理 API(非实时请求可排队,5 分钟内完成)。
文中提及的 AI 工具
评论
正在加载评论…