字节跳动发布 3B 参数开源多模态模型 Lance，统一图像视频理解与生成

字节跳动发布了一款名为 Lance 的开源多模态模型，激活参数仅 3B，能够同时处理图像理解、视频理解、图像生成、视频生成及跨模态编辑等任务。与常见将理解和生成模块分离的方案不同，Lance 从训练之初就将这些能力统一在同一体系中，旨在让一个模型同时支持文本到图像、文本到视频等多种输出。

Lance 采用共享上下文与能力解耦的并行设计，通过双流专家架构分别负责理解与生成。模型在训练中引入了模态感知旋转位置编码，以解决多类视觉标记边界混淆的问题。训练分四个阶段进行，总计使用约 1.5T 标记的预训练数据和后续的持续训练、监督微调及强化学习，全部预算控制在 128 张 GPU 内。

基准测试结果显示，Lance 在图像生成上 GenEval 总分 0.90，视频生成上 VBench 总分 85.11，图像编辑上 GEdit-Bench 达 7.30，视频理解上 MVBench 达 62.0，均表现出色。该模型采用 Apache 2.0 许可，权重已在 Hugging Face 开放，推理需 Python 3.10 以上、CUDA 12.4 以上及至少 40GB 显存。