欧洲云服务企业 OVHcloud 推出首个 AI 模型家族 Olala,并公布首个成员 Olala mini 7A1B。该模型以 Apache 2.0 许可在 Hugging Face 开源,可在 8GB 显存 GPU 上运行。
Olala mini 7A1B 采用 Differential-TPA 与 Mamba-3 结合的混合注意力机制,总参数 70 亿、激活参数 10 亿。在 RTX A4500 上词元吞吐量达 160 TPS。
该模型由三台欧洲公共超级计算机上的 NVIDIA GH200、A100、H100 训练,总开销 700 万欧元。初始上下文 32K,年底 1.1 版本将扩至 128K 并增强数学能力,后续 Olala 2.0 参数规模将超 100B。
评论
正在加载评论…