小米发布通用表格数据基础大模型 Xiaomi-TabLDM
小米正式发布通用表格数据基础大模型 Xiaomi-TabLDM,旨在将“一次预训练、跨任务使用”的范式引入结构化数据领域。该模型以单一预训练模型直接适配不同表格数据集,无需针对每个任务重新训练或调参,即可完成分类与回归预测。
在预训练方面,Xiaomi-TabLDM 基于结构因果模型生成的大规模合成数据进行训练,覆盖多种数据规模和变量类型。模型架构引入双流特征分组、轻量级注意力残差和稀疏混合专家,从不同粒度建模特征关系。推理阶段探索了 Test-Time Scaling,在保持参数不变的情况下,通过增加计算量提升预测性能。
在四大公开基准评测中,该模型均跻身第一梯队,其中在 OpenML-CTR23 回归榜和 TALENT 二分类任务中排名第一。相比排名第一的 TabFM,其训练时间减少 82%,预测时间减少 68%。在真实工业场景中,材料性能预测精度提升 130%,零件重量预测失误样本比例降低约 31%。
目前,Xiaomi-TabLDM 的模型权重与代码已正式开源,并提供 scikit-learn 兼容接口,可通过 pip 安装使用。
文中提及的 AI 工具
评论
正在加载评论…