浙江法院审结生成式 AI 制作淫秽物品牟利案

浙江省余姚市人民法院近日审结一起利用生成式 AI 制作淫秽物品牟利案。被告人郑某曾是游戏公司程序员，2024 年接触境外 AI 色聊机器人后，组建 6 人团队开发同类软件，于 2025 年 1 月在境外平台上线。该团队通过改写系统提示词、设定角色卡等方式突破 AI 模型安全限制，用户充值后可进行色情聊天并生成淫秽图片。运营期间生成静态图片超 37 万张、动态图片超 6000 张，用户充值约 17 万元人民币。法院认定郑某等人构成制作淫秽物品牟利罪。法官指出，开发者篡改安全机制对违法内容生成具实质控制力，虽内容由用户要求生成，开发者仍属刑法意义上的制作者，需担刑责。