小米开源工业级目标说话人语音识别大模型 CocktailASR-1

小米技术宣布正式发布并开源工业级目标说话人语音识别大模型 Xiaomi-CocktailASR-1,旨在解决多人同时说话时语音识别率大幅下降的“鸡尾酒会”难题。该模型采用端到端 LLM 架构,以目标说话人的一段参考音频作为声纹提示,可在复杂多人语音环境中精准提取并仅转录目标用户语音。

在多个主流多说话人测试集上,该模型均达到 SOTA,大幅领先现有方案。其单人识别性能比肩标准 ASR 模型,可无缝兼顾单人场景,并具备拒识非目标说话人干扰语音的能力,目标不在场时输出空文本,有效避免误触发。

此外,该模型支持思维链推理模式,为识别结果提供可解释推理过程。模型已在 GitHub 和 HuggingFace 开源。

推广DomoAI

评论

正在加载评论…