玩个小游戏：猜猜真假猫

（点击图片看真相）

在AIGC技术快速迭代发展的今天，有图有视频，未必有真相。

自去年AIGC爆火，用新技术编“伪消息”、造“假新闻”博眼球等AI造谣乱象频发，今年4月，公安部公布10起打击整治网络谣言违法犯罪典型案例，有4起案件是AI造谣。

如何避免AI造谣乱象“野蛮生长”？近日，南都记者专访北京大学王选计算机研究所教授万小军。他表示，大多数AI造谣新闻是用AI工具“移花接木”，业界可以考虑从AI模型的入口和出口施加控制，避免谣言内容的生成，但因“AI幻觉”问题，用目前的技术手段难以完全规避AI造谣。他建议，还要从立法的角度，加大对AI造谣者的惩罚力度，明确AI造谣者的法律责任。“AI治理还需法治。”

万小军。

“现在大多AI造谣新闻，用了AI工具移花接木，是AIGC技术的一种负面应用。”万小军在接受南都记者采访时谈到。

AIGC技术，即Artificial Intelligence Generated Content，‌是指利用AI技术生成内容的技术，生成包括文字、图片、视频等多种形式的内容。

今年4月，公安部公布了10起打击整治网络谣言违法犯罪典型案例，有4起案件涉及使用AI造谣，造成恶劣社会影响，包括“广州限制外卖配送”谣言案，经查，是使用AI工具批量生成不实文章。公安机关依法对6名人员采取刑事强制措施。

今年5月，河南一网民尚某某在某平台发布《一场惊心动魄的“钞票大战”巴中市警民对峙引发轰动谁将成为胜利者》的图文。经查，文字由AIGC生成，图片则是在网上获取的真实图片。公安机关已依法对尚某某给予行政处罚。

今年6月，一则“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的图文视频，引起广泛关注。经查，账号发布者任某通过网站榜单寻找吸引眼球的标题，再用写作APP自动生成内容虚假的文章，并根据文章内容自动生成虚假图片，组合成虚假图文视频。公安机关已依法对任某采取刑事强制措施。

南都记者观察上述案件及实操AI软件发现，这类“假新闻”制作逻辑均是“移花接木”：基于某一事实事件或现实场景，用AIGC技术文生文或文生图，拼接合成图文并茂的文章。而同样可以用AIGC技术，将多张文生图或网络视频片段，拼接合成声色并茂的视频。

南都记者用AIGC技术“文生图”：输入文字“两只猫咪在家里玩耍”，数秒后生成该图。图片由腾讯元宝AI生成

对此，万小军认为，如今获取AIGC工具途径简单，短视频平台等传播形式广泛，与传统谣言相比，用AIGC技术移花接木造的“伪消息”“假新闻”，具有门槛低、传播快、规模大、迷惑性强等特征。

“但对于熟知AIGC的人来说，不难看出，仍有AI痕迹。”他曾多次看到自媒体号发布的“伪消息”“假新闻”，此类文章逻辑不顺，用图粗糙，或是随意生成的图文，或是用的打码网图，与文字内容无关。“但不可忽视的一点是，AIGC技术正快速迭代发展，生成的图文、视频也越来越真实。”

“无论媒体还是社会，要重视AI治理，而不是等到AIGC技术真正成熟。”万小军表示，现今市面上大多数用AIGC技术生成的视频，长度不过十几秒，场景缺乏变化，细节不够逼真，专业人士能较轻易辨认。但预计未来三到五年时间，输入几句文字口令，就能在几分钟甚至更短时间内，一键生成与现实场景无异的长视频。

该视频是南都记者输入“一个人在电脑前打字办公”，生成图片后，再进行“图生视频”。用时10分钟左右。

南都记者尝试用AIGC技术生成视频，目前分为两种方式，一种是直接文生视频，5s的视频，生成用时超两个小时。另一种是先“文生图”，再用“图生视频”，用时10分钟左右。但以上两种方式生成的视频均明显不真实。

但不难看出，“文生图”已经接近真实。

对于大多数普通人来说，如今AIGC生成内容真假难辨，这无疑对媒体和公众信任度造成冲击。治理AI造谣，要走在AIGC技术成熟前。

那么，能否用技术手段治理？

据介绍，目前，业界目前主要从两方面进行尝试，一个是根治，另一个是监测。

根治，即从源头切断谣言内容的生成，通过利用训练数据质量控制、模型对齐、检索增强、拒绝回复等多种手段消减大模型生成虚假信息的可能性。

“这很有挑战性，因为有研究表明大模型的‘幻觉’不可完全避免。”万小军的研究领域是自然语言生成与大模型。他坦言，从源头治理AI造谣，还要考虑AI幻觉问题，而这也是如今大语言模型应用面临的问题。

AI幻觉，是指模型生成的内容与真实数据不符，或偏离用户指令的现象，简单来说，就是“胡说八道”。

南都记者在某AI软件上提问。

南都记者在某AI软件上提问“9.11和9.9，哪个更大”，AI给出以下答案与解答：9.11 更大。比较两个小数的大小，先比较整数部分，整数部分相同，再比较十分位，十分位相同比较百分位。9.11 和 9.9 的整数部分相同，都是9。十分位上 1 大于 0，所以 9.11 更大。

对此，万小军认为，AI幻觉问题是基于概率进行文本生成的必然，流畅的文本无法避免幻觉，模型缺少相关的新知识，也缺乏对内容真实性与一致性的有效控制。这就意味着，要根治AI谣言，从源头切断谣言内容的生成仍具有很大的挑战性。“业界已经在做研究了。”

值得留意的是，他还表示，研究AI幻觉问题时，若过度限制大模型，不让其出现幻觉，切断虚假内容避免误导的同时，也限制了AI创作时天马行空的想象力，导致模型生成的内容缺乏创意。

此外，业界目前还在尝试监测手段，即在互联网内容平台接入鉴别软件，实时进行数据识别比对。

“这需要搭建很大的语料库。”万小军表示，这意味着，投入的人力物力将是巨大的，代价很高。“业界还在做研究，但目前情况来看，效果并不理想，尤其是将算法应用到真实数据上的时候，挑战很大。”

图片由腾讯元宝AI生成

在现阶段，用技术手段治理AI造谣难度大，难实现。面对AIGC大模型应用带来新的安全隐患和风险挑战，万小军表示，“AI治理还需法治。”

他建议，要从立法的角度，加大对AI造谣者的惩罚力度，明确AI造谣者的法律责任。“对AI造谣者的行为真正起到约束作用，离不开惩罚机制。”

AIGC技术越来越强大，应用越来越广泛，同时，也会出现新的问题。在万小军看来，这些问题的解决离不开“AI+法学”复合型人才的支撑。

南都记者输入文字“大学生正在教室上课”，数秒后生成该图。图片由腾讯元宝AI生成

“基于以前的法律条款或案例难以解决AI时代新的问题。对法律法规的研究也要与时俱进，需要多个学科联合研究。”万小军表示，目前，法学生、律师、研究人员等专业人士对于AIGC还没有足够深入的了解。“AI+法学的跨学科复合型人才培养，已经是一个趋势，也是一个必要的方向。”

去年5月18日，万小军走进中国人民大学法学院，为法学生授课，讲解关于AIGC技术与应用的基础知识。“全国层面来看，已经有多个学校在加速推进 AI+法学的跨学科复合型人才培养，比如成立智慧司法这类交叉学科研究中心。”

将AIGC基础知识课程带进高校课堂，将高校人才带进社会，万小军还提到，今年10月启动的南方报业AIGC创作培训基地，“通过媒体搭建的平台，通过实际的项目实践，这对高校各学科人才多元了解AI，是一个比较好的切入点。”

采写：南都、N视频记者 李芷琪

摄影：南都、N视频记者 冯宙锋

对这篇文章有想法？跟我聊聊吧

李芷琪

冯宙锋