小米开源 ControlFoley 模型，实现可控视频音效生成

视频音效生成正从简单的画面配音走向意图控制。小米大模型应用团队今日开源 ControlFoley，一个统一的可控视频音效生成框架，旨在解决创作者难以精确控制配音结果的问题。

ControlFoley 支持三种任务：文本引导视频配音（TV2A）、文本控制视频配音（TC-V2A）和参考音频控制视频配音（AC-V2A）。其核心创新包括联合视觉编码、时间-音色解耦策略及模态鲁棒训练，使模型能在多模态输入下保持稳定，并优先遵循用户意图。

在 VGGSound-Test 等多个基准测试中，ControlFoley 取得开源 SOTA 表现，在语义对齐、时间同步和声音质量上优于现有方法。代码、模型权重及在线 Demo 均已开放，可对标商业系统 Kling-Foley。