OVHcloud 发布首个 AI 模型家族 Olala,7B 模型开源可 8GB 显存运行

欧洲云服务企业 OVHcloud 推出首个 AI 模型家族 Olala,并公布首个成员 Olala mini 7A1B。该模型以 Apache 2.0 许可在 Hugging Face 开源,可在 8GB 显存 GPU 上运行。

Olala mini 7A1B 采用 Differential-TPA 与 Mamba-3 结合的混合注意力机制,总参数 70 亿、激活参数 10 亿。在 RTX A4500 上词元吞吐量达 160 TPS。

该模型由三台欧洲公共超级计算机上的 NVIDIA GH200、A100、H100 训练,总开销 700 万欧元。初始上下文 32K,年底 1.1 版本将扩至 128K 并增强数学能力,后续 Olala 2.0 参数规模将超 100B。

推广DomoAI
文中提及的 AI 工具

评论

正在加载评论…