阿里通义实验室近日发布 PrismAudio 视频生成音频框架,专注于环境音与音效合成,如马蹄声、风雨声等与画面同步的背景声音,而非人物配音。该框架是首个将强化学习与思维链结合的环境音生成工具,通过分解式思维链让模型先‘思考’再生成音频。
PrismAudio 引入四个维度评分机制,采用 Fast-GRPO 高效训练算法缩短训练时间。测试显示它在 VGGSound 和自建 AudioCanvas 数据集上超越现有最优方法,仅 5.18 亿参数却能 0.63 秒生成 9 秒音频。研究已被 ICLR 2026 收录,代码即将开源。
文中提及的 AI 工具
评论
正在加载评论…