英特尔宣布为新一代开源多模态视频模型 MiniMax H3 提供 Day 0 首发支持,其锐炫 Pro B70 GPU 第一时间完成适配。英特尔团队实现了一种基于多卡 GPU 的部署方案,采用 Encoder 8 卡张量并行、DiT 8 卡 USP 并结合 Layer-wise Offloading,以及 VAE 部署于 B70 GPU 的整体架构,实现了视频生成全流程的 GPU 加速。
该方案中,DiT 作为计算量最大的模块,采用 8 卡 USP 并配合 Layer-wise Offloading 技术,使模型参数按层动态加载到 GPU,突破单卡显存限制,支持更大规模模型部署。团队还开发了 2TP×4USP 的混合并行方案,相较于纯 8 卡 USP,该方案减少通信开销,平衡计算负载与通信,提升推理性能。此外,结合 llm-scaler-omni 项目的 XPU Kernel 优化,对矩阵乘法、注意力等关键算子进行持续优化,进一步降低端到端推理时延。
文中提及的 AI 工具
评论
正在加载评论…