AI冒充拜登给选民打电话、知名歌手霉霉AI虚假“不雅照”在网上疯传、AI伪造香港特首李家超影片呼吁投资，还拉上假“马斯克”站台……近期，一连多起AI造假事件，再次引发人们对深度伪造（Deepfake）技术滥用的担忧。

拜登、霉霉、李家超……AI伪造“盯”上新受害者

据美国媒体报道，1月21日起，不少选民称接到了通过一家人工智能初创公司的技术“深度伪造”的美国总统拜登电话呼叫。该通话伪造拜登的声音，希望选民在1月23日的共和党党内初选中不要出门给共和党和特朗普投票，要把选票留到11月大选时投给民主党。“您今天的投票并不重要，重要的是十一月的投票。”

22日，白宫发言人卡里娜·让-皮埃尔证实，这一来电是“伪造，不是由总统录制”。随后，“假拜登来电”迅速成为美国多家媒体的热门话题。

除了声音伪造，另一起AI伪造知名歌手不雅照的案例也引发了社交媒体的震动，并惊动白宫回应。

近日，一组AI生成的泰勒・斯威夫特（霉霉）虚假不雅照在X（原推特）等多个社交平台疯传，这组图片在封禁前被浏览了超过千万次，这让霉霉及其粉丝感到愤怒。

该事件引起美国白宫的注意，发言人皮埃尔表示对这些图片的流传感到担忧，并强调社交媒体平台有责任采取行动阻止这类内容传播。X也紧急回应，称持零容忍态度，并采取了一项临时措施——于1月27日暂时屏蔽了“泰勒・斯威夫特”词条的搜索结果。

南都记者注意到，今年年初，香港特首李家超也深受AI伪造困扰。有诈骗分子假造李家超的视频向香港市民推介一项投资计划。其中一条视频盗用了香港无线电视访谈节目片段，利用AI技术合成虚假配音，将主持人与李家超的对话伪造成投资计划推介。短片中，李家超向观众宣称用2000港元投资，每周便可取到60000港元回报，而且收益免税。另一条视频中，李家超提及马斯克也参与了这一投资计划，随后AI合成的马斯克现身，协助推介虚假投资计划。

为防止市民误信，1月24日香港特区政府紧急发布新闻公告，严正澄清该电视节目片段为AI伪造，特首本人从未发表相关言论，已转交警方跟进该事件；政府强烈谴责不法之徒的诈骗行为，并呼吁市民对类似投资推介视频提高警惕，切勿轻信。

从AI拟声、合成虚假照片，再到生成视频，一起起案例背后指向的是深度合成技术。所谓深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术。此前，网络上广为流传的“俄罗斯大学生AI换脸成普京”“特朗普说汉语”等涉及“换脸”“仿声”的视频，也有赖于这项技术的支撑。

由于公众人物的视频、音频、图片资料的公开性，为AI训练提供了大量素材，也因此名人经常成为AI伪造的受害者。

AI伪造技术含量不高，如何防范被滥用引关注

事实上，被AI伪造“盯”上的不只是公众人物，普通人也可能深受其害。这项技术可能被用于伪造视频进行活体认证，以此假冒他人身份，类似“AI换脸成亲友要求转账被骗”的案例时有发生。不法分子还可能利用人们不慎泄露的素材假造“被绑架”视频或者不雅视频，进行敲诈勒索。

更让人担忧的是，AI造假的技术难度和成本并不高。此前，有技术专家告诉南都记者，目前业内已经有很多成熟的生成类软件工具，并且已有很多代表性的生成方法被开源，技术走向公开和轻量化，也有黑产分子售卖AI换脸软件及教程。通常生成一段用于身份核验的动态换脸视频，十几分钟就可以实现。

还有法律专家告诉南都记者，目前国内对深度合成算法的治理仍处于初级阶段，在相关规制上还存在一定问题：首先是缺乏对于公民名誉权或人格权的权利保护监督机制；其次是尚未回答深度合成算法在训练阶段的数据来源是否合法；第三是缺少深度合成内容造成损害后的辟谣机制和澄清机制。

值得一提的是，为规范深度合成技术的使用，2022年12月11日，中央网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》（下称《规定》），这是国内首个针对深度合成服务的专门性规章，已于2023年1月10日施行。

南都记者梳理发现，《规定》强调深度合成服务提供者需要对深度合成内容进行显著标识。《规定》要求深度合成服务提供者和技术支持者应当提示深度合成服务使用者依法告知被编辑生物识别信息的个人，并取得其单独同意。此外，深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

去年6月25日，全国人大常委会法工委发言人臧铁伟在一次新闻发布会上也曾对如何规制这类新型诈骗行为作出回应。他在南都记者提问时表示，通过“AI换脸”进行视频合成、实施诈骗的行为，是利用新技术进行的诈骗，与传统的诈骗行为在本质上没有区别。现有的多部法规可为打击和治理这类行为提供支撑。

具体而言，对于构成诈骗罪的，要依照刑法第二百六十六条的规定追究刑事责任；对于为利用“AI换脸”实施诈骗行为提供技术支持、帮助的，要根据反电信网络诈骗法的规定进行行政处罚，构成犯罪的，还要根据刑法第二百八十七条之二帮助信息网络犯罪活动罪等追究刑事责任。

技术的发展总伴随着安全的隐忧，如何防范AI技术被滥用应当引起重视。据臧铁伟透露，立法机关正在加强对人工智能等领域法律问题的研究，不断建立健全相关法律制度。

采写：实习生陈奕帆 南都记者李玲

出品：南都数字经济治理研究中心

编辑：李玲

本文作者

李玲

3.64亿

南方都市报记者