Whisper

让计算机准确理解人类语音 —— 包括各种口音、语言和背景噪声 —— 一直是个难题。Whisper 是 OpenAI 开发的通用语音识别模型，在海量多样化音频数据上训练，能以出色的准确率处理现实场景中的复杂条件。它是一个多任务模型，在单一系统中就能完成多语言语音识别、语音翻译和口语语言识别。

在技术架构上，Whisper 采用 Transformer 序列到序列模型，在多语言识别、语音翻译、口语语言识别和语音活动检测等多种任务上联合训练，将这些任务统一表示为 token 序列，让一个模型就能替代传统语音处理流水线中的多个环节。对于处理音频数据的开发者和研究人员来说，Whisper 是一个强大、灵活的基础平台。