京东今日推出 JoyAI-Echo 长音视频生成框架,旨在解决长视频生成中角色身份、声音易变及生成缓慢等行业痛点。该框架内置记忆库,可跨镜头保持角色外观和音色一致,实测 5 分钟视频中角色形象与声音高度稳定。
JoyAI-Echo 采用记忆驱动后训练流程,结合 SFT、跨模态 RLHF 和 DMD 技术,其中 DMD 实现约 7.5 倍推理加速。框架还引入智能“导演助理”Director Agent,支持自然语言指令自动拆解为剧本、角色、场景和镜头。
此外,JoyAI-Echo 配备实时超分模块,支持两档分辨率提升,最高可达 1472×2560。京东官方表示,此举标志着京东在长视频生成领域进入全球第一梯队。项目已开源。
文中提及的 AI 工具
评论
正在加载评论…