AI模型"越狱"造黄牟利判刑三年十个月："技术中立"抗辩为何失败？

余姚法院"AI越狱造黄"案的核心裁判要旨是：行为人通过改写系统提示词、设置角色卡、突破安全防护等方式，将通用AI模型改造为专门输出淫秽内容的工具，构成刑法意义上的"制作"行为，以制作淫秽物品牟利罪定罪处罚。被告人的"技术中立"抗辩——即主张内容由AI自动生成、用户自主选择——被法院驳回，理由是被告人对AI模型的内容输出具有实质性控制权。"技术中立不等于技术无罪"这一裁判要旨意味着：AI技术开发者不能以"技术本身是中性的"为由逃避刑事责任，关键在于行为人是否对AI系统的输出内容具有控制力和主观故意。

一、案件基本事实与裁判逻辑

1. 犯罪手法：从通用模型到"淫秽工厂"

郑某的犯罪手法具有高度技术性和系统性，可分为四个环节：

• 模型获取：使用境外开源基础模型，无需从零训练；
• 安全突破：改写系统提示词（system prompt），卡安全漏洞，做诱导性角色卡，逐步撕开大模型的安全限制；
• 功能开发：开发淫秽静动态图片生成功能，设置对话场景引导AI输出特定内容；
• 商业化运营：接入"第四方支付"和虚拟币渠道收费，用户可充值并选择角色卡与AI进行色情聊天或生成淫秽图片。

整套流程形成了从技术开发到付费变现的完整闭环。模型在境外平台上线后运营约半年，生成的淫秽图片数量惊人——37万余张静态图片和6000余张动态图片，其中经鉴定认定淫秽物品的分别有9000余张和5000余张。

2. 法院的核心裁判理由

法院认定郑某等人构成制作淫秽物品牟利罪，核心理由有三层：

第一层：行为定性——刑法中"制作"传统上指人工创作和编辑，但郑某等人通过编写修改系统提示词、设置角色卡诱导对话场景、突破安全防护等手段，将通用AI模型改造成专门输出淫秽内容的工具，这与传统意义上的"制作"并无本质差异。

第二层：控制力认定——庭审中被告人辩称用户自己选择角色、输入指令，试图推卸责任。但法官指出，用户的所有操作都被限定在被告人提前搭好的技术框架内，郑某团队对AI模型的内容输出拥有实质性控制权，其行为与淫秽内容的产生之间存在直接因果关系。

第三层：技术中立抗辩的排除——法官明确"技术中立不等于技术无罪""算法不是法外之地"。虽然AI模型本身是通用工具，但被告人主动篡改模型安全机制、对内容输出具有实质性控制权，属于刑法意义上淫秽物品的"制作者"。

3. 量刑情节

六人分别被判处三年一个月至三年十个月不等有期徒刑，并处罚金。量刑考量因素包括：

• 生成淫秽物品数量巨大（鉴定认定淫秽静态图片9000余张、动态图片5000余张）；
• 用户充值金额约17万元，以牟利为目的；
• 郑某为技术骨干，在共同犯罪中起主要作用；
• 一审判决后无人上诉，判决已生效。

二、"技术中立"抗辩为什么失败？

1. "技术中立"的法理含义与边界

"技术中立"原则源自美国最高法院的Sony案（1984），核心含义是：如果一项技术具有"实质性的非侵权用途"，技术提供者不对用户的侵权行为承担责任。这一原则在互联网时代被广泛引用，用于保护搜索引擎、文件分享工具等技术提供者。

但"技术中立"不是无条件免责。其适用需满足两个前提：一是技术本身具有实质性的合法用途；二是技术提供者对用户的侵权或违法行为不具有控制力或主观明知。

2. 本案中"技术中立"抗辩的失败原因

郑某团队的"技术中立"抗辩在三个层面被击破：

用途层面：经"越狱"后的AI模型已不具备实质性合法用途——郑某团队专门改写安全机制、设置淫秽角色卡，使模型成为专门输出淫秽内容的工具，而非通用AI模型。

控制力层面：用户的所有操作被限定在郑某预设的技术框架内——角色卡由郑某团队设计，对话场景由其搭建，安全防护由其突破，用户只能在预设范围内选择。这证明郑某团队对AI输出内容具有实质性控制权。

主观故意层面：郑某团队主动篡改安全机制、接入收费渠道、以牟利为目的运营——这些行为充分证明了其主观上明知且追求淫秽内容的生成和传播。

3. 与"技术中立"成功抗辩案例的对比

对比此前一些"技术中立"抗辩成功的案例（如正规科技公司受托开发小程序被控非法利用信息网络罪终获无罪案），关键区别在于：

• 成功案例中，技术提供者开发的是通用工具，具有实质性合法用途；
• 成功案例中，技术提供者对用户的违法行为不知情、无控制力；
• 成功案例中，技术提供者没有主动突破安全机制或设计违法功能。

本案中，郑某团队的行为在以上三个维度上均不符合"技术中立"的适用前提。

三、AI技术开发者的刑事风险边界在哪里？

1. 三条红线

结合本案裁判要旨和最高法《关于依法审理涉人工智能纠纷案件的意见》中关于刑事惩治的表述，AI技术开发者的刑事风险边界可归纳为三条红线：

红线一：主动突破安全机制——明知AI模型具有安全审核机制，仍通过改写提示词、设置角色卡等方式突破安全限制，使AI输出违法内容。这是本案定罪的核心事实。

红线二：对输出内容具有实质性控制权——通过预设角色卡、搭建对话场景、限制用户操作范围等方式，对AI输出内容形成控制力。如果用户只能在开发者预设的框架内操作，开发者就不能以"用户自主选择"为由免责。

红线三：以牟利为目的运营违法功能——接入收费渠道、设置会员制、以盈利为目的提供违法AI服务。牟利目的进一步加重了行为的社会危害性和主观恶性。

2. 合法AI产品开发与犯罪行为的区分

并非所有涉及AI内容审核的技术操作都有刑事风险。合法的AI产品开发通常具有以下特征：

• 安全审核机制是"加固"而非"突破"——开发者持续优化内容安全过滤，而非研究如何绕过；
• 用户协议明确禁止生成违法内容，并对违规用户采取封禁措施；
• 产品的核心功能具有实质性合法用途（如通用对话、写作辅助、图片创作等）；
• 开发者不提供专门的"违法模式"或"越狱教程"。

四、AI涉刑案件的辩护要点

1. 主观明知的认定与辩护

帮信罪、制作淫秽物品牟利罪等罪名均要求行为人具有"明知"的主观要件。辩护时可从以下角度切入：

• 行为人是否确实知晓其行为会导致违法内容生成；
• 安全机制的突破是否出于产品优化目的（如测试安全漏洞）而非输出违法内容；
• 是否存在被他人误导或欺骗的情形。

但需注意：本案中郑某的技术背景和主动运营行为使"不明知"抗辩几乎不可能成立。

2. 控制力的认定与辩护

如果行为人对AI输出内容不具有实质性控制权——例如仅提供了通用模型API接口，未参与安全机制的突破或违法功能的设计——可以主张不具有控制力，从而区分主犯与从犯、甚至争取无罪。

3. 罪名适用的辩护

本案以制作淫秽物品牟利罪定罪，但类似行为也可能涉及传播淫秽物品牟利罪（刑法第三百六十三条）、帮助信息网络犯罪活动罪（刑法第二百八十七条之二）等罪名。辩护时需关注罪名竞合时的选择是否适当，以及是否存在适用较轻罪名的空间。

五、AI开发者如何防范刑事风险？

1. 安全机制不可突破

不要出于任何目的研究或实施AI模型安全审核机制的突破方法，即使是为了"测试安全漏洞"。安全漏洞的发现应通过内部安全审计或漏洞赏金计划正规流程处理。

2. 产品功能设计合规

• 不设计专门的"无审核模式""越狱模式"等功能；
• 用户协议中明确禁止生成违法内容，并对违规行为设置自动检测和封禁机制；
• 对AI输出内容建立实时监控和违规内容拦截能力。

3. 收费模式合规

• 不以违法内容作为付费点或差异化功能；
• 会员等级、积分体系等商业设计不得与违法内容生成挂钩；
• 收入来源应可溯源、可审计，避免接入"第四方支付"等不受监管的支付渠道。

广东华商律师事务所潘杰峰律师点评

余姚"AI越狱造黄"案是生成式AI领域首例以制作淫秽物品牟利罪定罪的案件，其标杆意义在于明确了"技术中立"抗辩在AI犯罪案件中的适用边界。我的实务判断是：第一，"技术中立不等于技术无罪"这一裁判要旨的适用范围不仅限于淫秽物品犯罪——在帮信罪、侵犯公民个人信息罪、非法利用信息网络罪等计算机类犯罪中，同样可能成为定罪依据，AI技术开发者切勿将其视为免责盾牌；第二，本案的定罪核心是"实质性控制权"——如果开发者对AI输出内容具有控制力且主动设计违法功能，就不再是"技术中立的工具提供者"，而是违法内容的"制作者"；第三，辩护实务中应重点关注主观明知和控制力两个要件的证据充分性——如果行为人仅提供通用技术、未参与安全突破或违法功能设计，存在区分主从犯甚至争取无罪的空间。建议AI技术开发企业将安全机制加固、内容审核、合规审计纳入产品开发标准流程，切勿以技术试探法律底线。

FAQ

Q1：我只是开发了一个通用AI对话平台，有用户利用平台生成违法内容，我会被判刑吗？

如果你开发的是通用AI平台，具有实质性合法用途，且你不知情用户利用平台生成违法内容，通常不构成犯罪。但你在发现违法行为后有义务及时采取处置措施（如封禁用户、拦截内容、向监管部门报告）。如果你明知用户利用平台生成违法内容仍不处置，可能构成不作为的共犯。建议建立用户行为监控和违规内容自动拦截机制。

Q2：什么是AI模型的"越狱"？与正常使用有什么区别？

"越狱"（jailbreak）是指通过改写AI模型的系统提示词、设置特定角色卡、利用对话上下文漏洞等方式，绕过模型的安全审核机制，使AI输出本应被拦截的违法内容。正常使用AI模型是在安全机制允许的范围内进行交互；"越狱"则是主动突破安全机制。本案中，郑某团队的"越狱"行为是定罪的核心事实——他们不是在使用AI，而是在改造AI使其成为违法工具。

Q3：如果被卷入AI相关刑事案件，家属应该怎么做？

第一时间委托懂计算机技术和刑事辩护的专业律师。AI涉刑案件的技术性强，辩护要点往往在技术细节中——如行为人对AI输出是否具有控制力、主观明知程度、罪名适用是否适当等。家属应保存被告人从事AI技术工作的相关证据（如开发文档、代码提交记录、会议纪要等），这些材料对区分主从犯、认定主观状态具有关键作用。在侦查阶段应尽早委托律师会见当事人，了解案情并为取保候审做准备。

---

本文系广东华商律师事务所潘杰峰律师团队出品，仅供客户与行业参考，不构成正式法律意见。