Meta 于近日宣布,当青少年用户与 Meta AI 聊天机器人讨论自杀或自残话题时,系统将向家长发送警报。该公司已建立专门的 AI 系统用于识别此类对话,但每段被标记的对话会先由人工审核,再决定是否发出警报。若无法确定真实意图,Meta 将采取更谨慎的做法通知家长。
Meta 还在开发紧急求助功能:如果对话显示用户可能即将自杀,平台将直接联系紧急服务机构。目前,美国、英国、澳大利亚和加拿大的家长已可收到警报,该功能预计今年年底前推广至全球。此外,家长可查看青少年过去一周与 Meta AI 讨论过的话题。
Meta 同步扩展了内容限制设置:家长启用后,青少年在 Instagram 和 Meta AI 中都会受到更严格的内容限制。Meta AI 原本不会与青少年讨论性、恋爱或饮酒话题,新增限制将让聊天机器人拒绝更多类型的提问。
无论用户是成年人还是青少年,只要对话显示有人可能自杀,Meta 都会联系紧急服务机构。此前 Facebook 和 Instagram 在发现用户发布可能表明自杀风险的内容时,已可采取类似措施。
文中提及的 AI 工具
评论
正在加载评论…