Sand.ai 与上海创智学院 GAIR 实验室联合开源音视频联合生成基座模型 daVinci-MagiHuman,参数规模达 150 亿。该模型采用单流 Transformer 架构,将文本、视频、音频统一为同一 token 序列,通过自注意力完成联合建模,无需跨注意力或模态专属分支。
模型以人像场景为核心,可生成自然的面部表情与语音,实现口型、表情与动作的精准同步,支持中、英、日等六种语言。推理时结合蒸馏、超分辨率等技术,单张 H100 GPU 仅需 2 秒即可生成 5 秒 256p 视频。
客观评测显示,该模型在开源模型中视觉质量与文本一致性均居首位,语音可懂度优于 LTX 2.3 和 Ovi 1.1。完整模型栈(基座、蒸馏、超分模型及推理代码)已全部开源。
评论
正在加载评论…