被AI误判成罪犯,谁为模型“幻觉”买单?

南都N视频APP · AI前哨站
原创2026-05-08 15:44

4月的最后一天,律师李小亮向法院寄去强制执行申请书,要求某互联网公司履行书面道歉义务。

一个多月前,李小亮在一起由AI幻觉引发的侵权案件中取得二审胜诉。南京市中级人民法院确认,这家互联网平台“AI智能回答”中生成了关于李小亮的贬损性信息,构成名誉权侵权,运营该平台的公司被判书面道歉。但李小亮称,判决生效后,该公司至今未向其道歉。

迄今为止,这家涉案互联网公司已至少卷入三起AI幻觉招惹的官司。无一例外的是,三起案件的原告都被AI误解为罪犯。除了李小亮一案已宣判外,律师黄贵耕、作家寇延丁两人分别提起的另外两起诉讼,目前仍处于法院审理程序。

该公司的遭遇并不特殊。从全球范围内看,AI幻觉也从一个技术问题,升级为让大模型公司棘手的司法麻烦。OpenAI、谷歌等大模型头部玩家接连卷入相关诉讼。最新一起案件发生在加拿大:据多家当地媒体5月初报道,一位加拿大知名小提琴家对谷歌提起一项索赔150万美元的诉讼,称谷歌搜索“AI概览”(AI Overviews)的生成结果将其错误描述为性犯罪者。

这些案件抛给各地司法机关的共性问题是:如果AI生成涉嫌名誉侵权的错误内容时,大模型公司需要承担法律后果吗?

大模型名誉侵权首案始末

从公开信息看,李小亮涉诉的这起案件,是国内第一起宣判生效的AI幻觉名誉侵权案。

判决书记载,该案中,某互联网平台“AI智能回答”犯错存在一定随机性,会出现正确和错误的回答内容。

南京江北新区法院一审查明,在某互联网平台中搜索“南京李小亮律师出狱几年了”,“AI智能回答”给出正确回答:“关于‘出狱’的表述,可能是对李小亮律师过往经历的一种误解或描述错误。”但在2024年9月搜索“李小亮律师被判几年”时,“AI智能回答”则称“李小亮因犯爆炸罪,被判处有期徒刑三年”,并将李小亮的穿着律师袍的照片展示在回答内容当中。

图片

某互联网平台“AI智能回答”输出的“定罪”内容。受访者供图

运营该互联网平台的公司对此解释称,AI搜索结果与李小亮输入提示词高度相关,“AI智能回答”生成李小亮被判刑的时间点系国内人工智能发展初期。由于技术局限性,李小亮主张的侵权内容具有极强的偶然性。

不过,一审法院于2025年9月作出的判决中认为,该互联网平台“AI 智能回答”的侵权内容是对搜索内容通过AI技术将文字内容与图片加工合成,错误、贬损性质的内容明确指向李小亮,运营该互联网平台的公司主观上存有过错,该搜索发布内容的行为造成了李小亮名誉受损,所以该涉案公司构成名誉侵权,应当承担相应的法律责任。

法院结合该涉案公司的过错程度、侵权时间、损害后果等综合评判,认定该公司宜采用书面道歉信的形式向李小亮道歉。因缺少证据证明,法院未支持李小亮主张的各类损失赔偿及精神损害抚慰金。

这家互联网公司随后上诉,主张“AI智能回答”在有限技术条件下,准确性受限,其对损害后果的发生不具有预见性,且对损害后果的发生缺乏控制力,没有侵权的主观过错,与损害后果无因果关系。“如果要求服务提供者对技术受限造成的结果承担侵权责任,则是过分苛责新技术研发。”该公司称,司法理应采取克制和谦抑态度,而非积极干预创新。

而李小亮反驳称,技术创新必须以保护公民合法权益为前提,涉案公司若无能力管控造谣,就不应开设“AI智能回答”等可能侵害个人名誉的板块。

南京市中级人民法院二审认定,涉案互联网平台“AI智能回答”相关信息内容客观上造成了对李小亮社会评价受损。一审法院结合该公司的过错程度、侵权时间、损害后果等因素,认定其构成名誉侵权,并要求其向李小亮书面道歉符合案件的实际情况。

AI幻觉接二连三惹官司

这家涉案互联网公司卷入的另外两起AI幻觉案,与李小亮一案情形类似。当事人都被AI“定罪”,进而愤然起诉。

2025年11月,律师黄贵耕在北京市海淀区法院发起控告,称该互联网公司旗下AI自动生成了涉及其涉嫌介绍贿赂、伪造公司印章、因非法吸收公众存款罪被判刑等方面的虚假信息。据南都记者了解,该案目前仍在一审程序中,已多次开庭。

黄贵耕提供的一份涉案公司的答辩记录显示,该公司主张不存在对涉案产品输出内容是否侵权构成明知、应知的情形,已尽到合理注意义务,涉案AI产品标注了AI生成提示。该公司表示,此案包含了原告连续高频词搜索导致的AI幻觉,AI幻觉是发展中无法避免的阶段性问题,AI幻觉不是该公司故意所为。

对此,黄贵耕反驳称,AI幻觉不能成为免责事由,且AI产品提示“内容局限性”亦不能免除侵权责任。他说,涉案虚假信息并非轻微不准确,而是涉及刑事犯罪、吊销执业资格等足以摧毁个人名誉的严重虚假内容,涉案公司AI的简单提示无法对冲此类严重侵权后果。

而另一起由作家寇延丁起诉该互联网公司的案件,已于2025年12月在北京互联网法院一审开庭。寇延丁在公众号发文展示的截图显示,这家公司的AI产品在回答“寇延丁最近状况”的搜索提问时,生成其“2025年1月因敲诈勒索罪被判处有期徒刑十年三个月,目前处于服刑状态”。寇延丁称,该描述与实际情况不符,其本人目前隐居乡下,过着田园生活。

如何认定大模型公司的过错?

国家网信办等部门发布的《生成式人工智能服务管理暂行办法》提到,提供和使用生成式人工智能服务,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益。

当AI幻觉引发的名誉侵权纠纷频发,如何认定提供生成式AI服务的大模型公司是否侵害他人名誉权,在业界和实务界引起讨论。

清华大学法学院教授程啸在《财经法学》2026年第2期撰文指出,认定AI的内容输出是否属于侵害名誉权的行为时,首先需要判断该内容输出是否构成公布行为,这是因为名誉侵权需要相关内容被第三人知悉。

他认为,AI针对用户一对一输出内容的行为,原则上不应被看作是公布行为。除非有证据表明,该虚假内容已经为他人所知悉或者具有相当的可能性为他人所获得。至于原告自行将AI输出的虚假错误内容传播给他人,则属于受害人对于损害的发生具有故意,生成式AI服务提供者无须承担侵害名誉权的侵权责任。

按照程啸的分析,基于名誉权的权利性质,当AI生成诽谤内容,被侵权人请求大模型公司停止侵害时,无需论证大模型公司主观上具有过错。但如果被侵权人想寻求损害赔偿,则需证明大模型公司存在主观上的过错。

针对生成式AI服务提供者是否尽到注意义务和存在主观过错,杭州互联网法院在2025年12月披露一起AI幻觉案件时提出了三层评判标准——

一是对法律禁止的“有毒”、有害、违法信息负有严格审查义务,而对其余一般性的不准确信息则需采取有效措施“提高生成内容的准确性和可靠性”;二是需以显著方式向用户提示AI生成内容可能不准确的固有局限性,包括明确的“功能局限”告知、保证提示方式的“显著性”、在重大利益的特定场景下进行正面即时的“警示提醒”,以防范用户产生不当信赖;三是应尽功能可靠性的基本注意义务,采取同行业通行技术措施提高生成内容准确性,比如检索增强生成技术措施等。

海外判例:AI出错不等于公司必然担责

在海外,AI幻觉名誉侵权案也逐渐迎来判决,且出现大模型公司胜诉的记录。

2023年6月,电台主持人马克·沃尔特斯(Mark Walters)在美国佐治亚州的法院起诉OpenAI,声称ChatGPT在回应记者里尔(Riehl)关于枪支相关诉讼的提问时,生成了一份虚假的法律诉状,指控沃尔特斯挪用公款。这起案件于2025年5月宣判,OpenAI胜诉。OpenAI代理律师称其为首起宣判的同类案件。

尽管ChatGPT生成的关于沃尔特斯的表述表面上失实,但审理此案的佐治亚州格威内特县高等法院认为,该错误内容在此案中不构成法律意义上的诽谤性事实陈述。原因在于,里尔作证称,当ChatGPT告诉他涉及沃尔特斯的贪污指控时,他知道该内容是错误的信息,AI完全是在幻想式输出。法院指出,由于里尔主观上不相信它是事实,那么模型生成的错误内容在法律上就不具有诽谤性。

法院进一步分析,即便假设相关生成内容具有诽谤性,沃尔特斯也无法证明OpenAI存在“实际恶意”,因为他没有证据表明OpenAI明知或罔顾用户可能收到虚假输出的风险。此外,原告甚至无法证明OpenAI存在过失,因为OpenAI在降低幻觉风险方面处于行业领先地位,并采取了广泛措施警告用户ChatGPT可能会不时生成不准确的内容。

“沃尔特斯并未指出任何判例,仅仅因为出版者知道自己可能犯错,就可以在诽谤法上被当然认定为过失。”法院表示,这样的规则将给大模型公司施加严格责任标准,而非过失标准。若采用严格责任的法律标准,将意味着像OpenAI这样的AI开发者,无论采取何种注意措施来降低错误风险,只要运营像ChatGPT这样的大模型,就必须对该模型生成的任何错误输出承担责任。法院拒绝在OpenAI的案件中适用这一标准。

 

采写:南都N视频记者 杨柳

编辑:李玲

南都N视频,未经授权不得转载、授权联系方式
banquan@nandu.cc. 020-87006626