美团 LongCat 团队近期开源了语音合成模型 LongCat-AudioDiT,提供 1B 和 3.5B 两个版本,代码与权重均采用 MIT 协议。该模型的核心亮点是零样本声音克隆——只需一段参考录音,就能用该说话人的音色朗读任意新文本。
传统语音合成需先转文本为频谱图再还原波形,而 LongCat-AudioDiT 跳过中间步骤,直接在波形压缩表示上做扩散生成,减少误差。在 Seed 基准测试中,3.5B 版本中文说话人相似度达 0.818,超过字节 Seed-DiT;困难子集相似度 0.797,优于阿里 CosyVoice3.5。
论文还提到一个反直觉发现:中间压缩环节还原质量越高,最终合成效果未必更好。
文中提及的 AI 工具
评论
正在加载评论…