全国首例"AI幻觉"案宣判：AI承诺赔偿10万为何不算数？

杭州互联网法院为"AI说错了谁来赔"给出了基准答案：AI的承诺不构成法律意义上的意思表示，责任主体永远是人，不是模型。用户不能拿着AI对话框里的一句"我赔你10万"去起诉平台，但平台也不能用"技术还在发展"当挡箭牌——提示义务、技术优化义务、违法内容审查义务三项义务不履行，照样要担责。这个裁判思路把"AI幻觉"从无解问题变成了可分配的风险。

一、AI的"承诺"为什么不构成意思表示？

民法典意义上的意思表示，须由适格民事主体作出并指向设立、变更、终止民事法律关系。大语言模型是概率生成系统，它"说出"赔偿承诺，本质是基于训练数据对用户提问的统计性续写，既没有主体的行为能力基础，也没有平台授权的意思形成过程。法院认定该承诺不构成平台的意思表示，逻辑上完全站得住：如果AI随口一句"我赔你100万"都能约束平台，任何大模型产品都会被话术性提问击穿，这个口子显然不能开。

但要看到裁判的另一面：法院没有简单"驳回结案"，而是同步确认平台的三项义务。这意味着"AI幻觉免责"是有边界的——平台在产品设计中不给关键场景（如教育、医疗、法律咨询）配置免责提示与事实性校验，或者在明知输出虚假信息后拒不优化，仍可能因未尽注意义务承担过错责任。

二、AI生成内容出错，平台承担什么责任？

结合《民法典》侵权责任编、《个人信息保护法》及《生成式人工智能服务管理暂行办法》第九条（服务提供者依法承担网络信息内容生产者责任），责任框架可以概括为三层：

第一层：过错责任为原则。 平台对AI输出的虚假信息造成他人损害的，按过错责任认定——是否尽到显著提示、是否有纠错机制、对已发现的错误是否及时处理。用户把AI输出当作唯一决策依据而自己未尽审慎义务的，会相应减轻平台责任。

第二层：内容合规责任。 《暂行办法》要求生成内容体现社会主义核心价值观、不得生成违法内容。对涉政、暴恐、侵权类内容，平台负有主动拦截义务，这层责任不以用户"上当"为前提。

第三层：特殊场景法定责任。 如果AI输出侵害特定人的名誉权、肖像权、著作权，权利人可依民法典人格权编、著作权法直接主张权利，此时被诉的是"信息发布者"，举证逻辑与一般用户索赔完全不同。

三、用户被AI幻觉坑了，正确的维权姿势是什么？

实务上有三条路径，注意与本案败诉思路的区别：

1. 主张产品责任或服务合同违约：如果平台宣称"专业查询""权威数据"并收费，输出内容明显错误且无提示，可从违约或虚假宣传角度主张，重点举证平台的商业承诺而非AI的原话；
2. 主张过错侵权：证明平台明知输出错误（如用户已投诉）仍不纠正、不提示，过错链条清晰；
3. 成本分担思路：对关键决策（高考志愿、投资、签约）交叉验证权威信源，保留AI输出的截图与对话记录——本案用户败诉的技术性原因之一，恰恰是损失与其单纯信赖AI之间因果关系薄弱。

广东华商律师事务所潘杰峰律师点评

本案最值得企业记住的不是"平台赢了"，而是法院顺手划定的三项义务清单——提示、优化、审查，这就是AI产品的合规底线。对用户而言，AI对话里任何"我承诺""我保证"都没有法律效力，重大决策务必回归权威信源，损失主张要围绕平台的商业宣传与过错行为构建证据，而不是对着AI原话较劲。预期后续会出现"平台明知AI输出虚假仍推广"与"AI输出致第三方权益受损"两类新案件，责任规则会比本案更精细。相关法律意见建议潘律师审核确认。

FAQ

Q1：AI说错了信息，我肯定能起诉平台吗？

A：可以起诉，但胜诉取决于举证方向。仅凭AI输出错误或AI的"赔偿承诺"起诉，难获支持；需证明平台存在虚假宣传、违约或过错（明知错误不纠正、无必要提示等），且该过错与你的损失有因果关系。

Q2：AI生成的内容诽谤了我，我该怎么办？

A：与本案用户视角不同，你作为被侵权第三方可依民法典人格权编主张名誉权侵权，要求平台删除、更正、赔礼道歉并赔偿损失；平台接到通知后不及时处理的，对扩大损失部分承担连带责任。

Q3：平台在用户协议里写"AI内容仅供参考"就能完全免责吗？

A：不能完全免责。提示义务只能覆盖一般性错误风险，对于平台明知或应知的违法内容、已投诉未处理的错误，以及违反《生成式人工智能服务管理暂行办法》的输出，仍需依法担责。