被AI戏弄、遭AI中伤,谁来按下“纠错键”?

南都N视频APP · AI前哨站
原创2026-06-15 19:12
图片

AI闹出“乌龙”,近期屡成热点。有人被AI挖坑,也有人被AI中伤。

事例清单正不断累积:有用户让AI预约线下餐厅,到店后却被告知预订无效;有用户手机号被AI错误标记为养殖场电话,频繁遭陌生人打电话询问是否卖野猪;有人轻信AI给出的“退机票手续费低”的信息,最终蒙受金钱损失;还有包括律师在内的人士,被AI“脑补”一系列无中生有的罪名。

这些AI犯错的情形,通常被归入“AI幻觉”的范畴。包括DeepSeek在内的许多模型厂商,已将降低幻觉率作为模型更迭的重要目标。但业内普遍认为,幻觉难以彻底根除。

在此背景下,我们应该如何与AI幻觉共处,正成为一项至关重要的社会议题。6月12日举办的南都数字经济治理沙龙第21期,聚焦AI幻觉的治理,多位业内专家分享了行业内应对AI幻觉的现行解决方案及局限性,并强调提升用户AI素养在当今时代的紧迫性。

内生幻觉的系统性解法

在360智脑技术副总裁、360 AI高级研究员孙林看来,AI幻觉不只是模型上的bug(错误),而是从数据、模型、系统到产品多个环节共同导致的系统性结果。因此,对其治理也从多个维度推进。

孙林提到,数据是AI幻觉产生的一个重要因素。互联网上积累了海量数据,而其中虚假信息泛滥。AI幻觉治理的前提,是将数据做得更全、更真,对互联网上大量的虚假信息进行清洗和治理,形成高质量的数据集。

一般来说,模型参数越小,越容易出现幻觉。孙林认为,这也是模型参数不断扩大的一项原因,通过增强模型的能力,减少幻觉或错误带来的影响。与此同时,RAG(检索增强生成)技术也被用于减少幻觉,让AI尽可能调用权威信源。

而在产品运营层面,当某一具体的AI幻觉案例被监管部门等指出时,企业会有针对性的处理。

孙林坦言,从技术到运营,企业已采取了不少措施来减轻AI幻觉。但要发现和解决所有问题,几乎不可能。这并不是有些工作企业不愿意做,而是当前的技术确实还做不到。

外在“投毒”攻防战

如果说AI幻觉是模型自然发生的内生问题,那么GEO(生成式引擎优化)“投毒”则是人为地从外部干扰AI的回答。

2026年“3·15”晚会曾曝光GEO业务的兴起。一些GEO服务商通过大量撰写推广软文并在互联网平台发布,让AI模型在抓取和训练数据时获取这些内容,从而提高客户产品在AI推荐中的排名。相关服务商宣称,只要支付费用,就可以让客户的产品在任何主流AI大模型的回答中“做到排名前三位”。

孙林介绍,传统搜索引擎公司的广告业务,受到大模型产品较大的冲击。GEO业务已经成为所有与互联网广告相关的企业都无法回避的现实问题。在积极为广告主和服务商提供GEO服务的同时,相关公司也需要对黑产利用GEO进行恶意攻击展开防御。

中国信息通信研究院人工智能研究所安全治理部主任石霖表示,GEO技术本身是中性的,并无好坏之分,关键在于如何使用。一些服务商和内容生产方,通过数据“投毒”的方式,达到影响AI内容输出的目的,这种滥用是需要被规范的,甚至被禁止的。此种内容污染往往是一个潜移默化、且持久深远的过程,可能衍生出一系列负面后果。

“就像种地一样,如果土地被污染了,就难以种出好的庄稼;同理,如果网络空间被污染了,就可能训练不出优质的大模型。”石霖建议,应当明确一种正向积极的导向,倡导大家不去做那些恶意编造虚假信息、污染网络空间的事情。

北京交通大学法学院副教授付新华建议,针对“投毒”者、恶意诱导者等行为主体,法律可以从不正当竞争、虚假宣传,以及网络黑灰产治理等角度,对相关行为进行追责。同时,平台应承担反“投毒”义务,例如优先采用可信来源、优先采用权威来源,以及确保引用链条可追溯等。

提升AI素养迫在眉睫

“AI更像一个还不错的朋友,但并非无所不能,也谈不上很权威。”孙林将厘清AI的角色定位,视作提升AI素养的前提。

在他看来,大模型的能力提升伴随更高的成本投入。因此,如果要获得更优质的AI服务,付费订阅是一种符合朴素常识的选择。按照他的使用体验,一些免费的AI应用,输出错误信息的情况越发明显,导致他不得不放弃使用,转而更多使用付费的产品。

未成年人作为AI时代的原住民,更是提升AI素养的重要关切对象。

清华大学新闻与传播学院博士后张诗瑶在家庭教育相关调研中发现,当代小学生的信息获取渠道已发生颠覆性变革:八九成的孩童不再局限于书本、课堂与长辈教导,而是通过豆包等人工智能工具获取各类信息。当下,AI对青少年的价值早已突破单纯的信息查询工具范畴,既成为部分孩子的情感倾诉与精神寄托,也成为家庭教育中家长常用的辅助帮手。在全民数字化的时代背景下,大众已然将AI视作全能的“智能百科全书”,深度融入日常学习与生活。

AI全面普及的同时,AI幻觉带来的信息失真、内容失准等问题愈发凸显,培育全民AI素养、建立科学的AI使用思维,成为抵御AI幻觉的核心关键。对此,张诗瑶提出核心建议,应将AI素养系统性纳入全民科学传播体系,摒弃笼统化、统一化的普及模式,针对不同年龄、职业、使用场景的用户群体,开展分层分类、精准个性化的AI素养专项培训。

她认为,数字时代的媒介素养培育,亟须完成迭代升级。过去公众的媒介教育核心是信息素养,重点在于甄别网络虚假新闻、辨别劣质信息;而在AI深度应用的新阶段,大众需要实现认知升级,迈入全新的AI素养阶段。核心能力不再是被动辨别信息真伪,而是主动溯源信息来源、理性独立研判内容可信度,摆脱对AI的绝对依赖,始终将信息判断与行为决策的主动权掌握在自己手中,从思维根源上抵抗AI幻觉带来的认知偏差与决策失误。

 

出品:南都数字经济治理研究中心

采写:南都N视频记者 杨柳

编辑:李玲

更多报道请看专题:AI出错,谁为模型“幻觉”买单?

南都N视频,未经授权不得转载、授权联系方式
banquan@nandu.cc. 020-87006626