谷歌 DeepMind 团队提出 GenCeption 模型,将预训练的视频生成器逆向改造为通用视觉分析引擎。该模型基于阿里巴巴开源的 Wan2.1 系列视频生成模型训练,打破了传统计算机视觉“一个任务一个专用模型”的格局。
GenCeption 能同时执行深度估计、图像分割、3D 姿态估计、表面法线预测和相机姿态估计等核心视觉任务。与传统扩散模型需多步去噪不同,它通过一次前向传播完成预测,大幅提升处理速度。小模型处理 81 帧视频约需 6 秒,大模型(140 亿参数)约需 10 秒。
模型采用合成数据训练,仅使用 7500 段视频,由 800 个数字人体模型与 200 段动作捕捉序列组合而成。尽管训练数据几乎全是单人合成视频,GenCeption 却能泛化到真实多人场景,甚至处理动物和类人机器人视频,输出细节可保留猫胡须和单根发丝边缘。
文中提及的 AI 工具
评论
正在加载评论…