OpenAI 推出开放式基准测试 MentalHealthBench,包含 1215 段合成心理健康对话,用于评估 AI 在真实场景下的应对能力,覆盖日常心理健康话题到紧急事件。该基准由来自 22 个国家和地区的 80 多名持证心理学家和精神科医生参与制定,使用 19 种语言,涵盖近 20 个心理健康专业领域。
测试结果显示,GPT-6 Astra 任务截断得分最高,为 57.3%;GPT-6 Sol 为 53.9%,Claude Opus 5.5 为 52.4%,GPT-6 Luna 为 50.2%。GPT-4o 得分 32.1%,Gemini 2.5 Pro 为 29.5%。研究作者表示,随着模型迭代,整体表现持续提升,但在主动获取背景信息和准确判断紧急程度方面仍有改进空间。
OpenAI 表示,目前每周有超过 10 亿人使用 ChatGPT,同时强调 ChatGPT 不能替代心理治疗或专业医疗服务。此次公开发布数据集,希望研究人员能够审查方法、开展独立评估并进一步研究。
评论
正在加载评论…