亚马逊 Bedrock 将部署混合 AI 推理系统 提升负载处理速度

亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 宣布，将在 Amazon Bedrock 平台部署混合 AI 推理系统，以提升负载处理速度。该系统结合 Cerebras 的 CS-3 系统、AWS 的 Trainium 芯片及 EFA 弹性网络适配器。

Trainium 芯片负责推理预填充（提示处理），CS-3 承担解码（输出生成任务），两者通过 EFA 连接。推理预填充需大算力和适中内存带宽，解码则需高内存带宽，组合使用可发挥各自优势，提供更优用户体验。