OpenAI 宣布通过 GPT-5.6 Sol 模型优化 GPT-5.6 系列模型的推理链路,端到端服务成本最多降低 20%。该模型通过学习 Triton 和 Gluon 两种编程语言,自主改写和优化生产环境中的 GPU 内核,同时利用 Codex 分析生产流量、识别负载失衡来源并调整路由策略。
在模型前向传播环节,GPT-5.6 Sol 识别可预计算、可并行的工作,提升 GPU 利用效率。此外,OpenAI 还使用开源工具 FpSan 验证模型编写内核的正确性,并优化推测性解码技术,使 token 生成效率提升超过 15%。
文中提及的 AI 工具
评论
正在加载评论…