OpenAI 发布 LifeVal 基准 衡量 AI 模型日常事务能力

OpenAI 发布新基准 LifeVal,用于衡量 AI 模型能否真正帮助普通人完成日常事务,让通用 AI 更贴近“对人类最有用的日常帮助”。

该基准的任务设计参考“美国人时间使用调查”及跨国“多国时间使用调查”,并对 3995 名具有人口代表性的受访者进行调研。场景覆盖照护、健康、教育、家庭行政、个人财务、购物及政府服务等,典型任务包括为孩子挑选幼儿园、为糖尿病家人制定照护计划等。

与传统基准不同,LifeVal 关注任务能否推进到“可执行、可交付”状态,模型需理解聊天记录、整合多方信息并给出贴合个人处境的建议。公开示例显示,找幼儿园任务得分 93.1%,组织防洪志愿者为 98.0%,糖尿病膳食计划为 90.4%。

不过,LifeVal 目前主要是 OpenAI 的内部评估,外界尚未获得完整任务集、评分代码与可复现的排行榜,结果仍需谨慎解读。

推广DomoAI

评论

正在加载评论…