谷歌 Magenta 团队发布 Magenta RealTime 2(MRT2)模型,定位为可与用户“即兴合奏”的本地实时音乐模型。MRT2 提供两种规模:高质量模型 mrt2_base 参数量 24 亿,高速模型 mrt2_small 参数量 2.3 亿,两者均针对苹果 Apple Silicon 芯片优化,mrt2_small 可在搭载 M1 及后续芯片的 Mac 上实时运行。
MRT2 最大改进是低延迟。前代需 TPU 或高性能 GPU,控制延迟约 3 秒,以 2 秒音频块响应;MRT2 改为逐帧生成,每帧 40 毫秒,实际延迟约 200 毫秒,降低至前代十五分之一。模型支持文本和音频风格提示,以及 MIDI 音符与鼓开关控制,可持续跟随音符输入变化,并具备 Auto-Strum 模式自动决定拨弦时机。
谷歌同步推出免费应用 Jam,支持用户输入音乐风格描述后由模型生成音乐,可通过键盘或 MIDI 键盘调整音高。此外,MRT2 插件允许创作者在常用 DAW 中调用模型,适配成熟编曲环境。MRT2 基于 SpectroStream 音频编解码器处理 48kHz 立体声音频,以 25Hz 帧率生成音频标记。
文中提及的 AI 工具
评论
正在加载评论…