阿里通义实验室今日发布 Wan-Streamer v0.2 模型,这是一款面向实时双工交互的端到端全模态理解与生成模型,将“听、看、说、演”统一进单个 Transformer 中。模型端到端响应延迟仅为 550 毫秒(200 毫秒模型延迟加 350 毫秒网络延迟),输出分辨率从 v0.1 的 192×336 提升至 640×368,微表情和场景细节清晰可见。
Wan-Streamer v0.2 采用“思考者”与“执行者”双通路架构:单卡“思考者”负责快速感知与语言处理,多卡“执行者”并行生成高清视频。通过时序重叠设计,模型在提升画质的同时不增加用户感知延迟,总远程交互延迟保持在约 550 毫秒。
该模型支持用户用自然语言描述角色,AI 可实时生成视频形象进行面对面交流,适用于口语陪练、面试模拟、沉浸式游戏 NPC、无障碍交互等场景。团队表示,这是通过原生流式架构让 AI 沟通方式逼近真人的长期研究路线,将持续迭代。
文中提及的 AI 工具
评论
正在加载评论…