眼见未必是真！一张“人像照片”、一段“人物视频”，都有可能成为不法分子犯罪的新手段和新工具。2024年国家网络安全宣传周期间，关于AI换脸、换声等对个人隐私侵害的话题再次成为大家关注的焦点。实际上，就在网安周前一周举行的外滩大会期间，也同样在热议这一话题。

从黄浦江边的外滩大会到伶仃洋畔的国家网安周，这个9月，人们关于AI如何向善的追问在持续，关于如何对抗AI换脸风险的思考在上海和广州两座滨江之城中奔腾共振。

AI换脸技术如何影响我们的数字身份安全？有哪些有效的AI工具能准确检测和防范Deepfake风险？在法律和伦理层面，我们如何平衡AI换脸技术创新应用与其潜在风险？带着这些疑问，南都记者一路探访，从模拟攻防挑战赛到实际应用场景的落地，从学界到业界，寻找这些命题的答案。

走出试验场：

一群年轻人开启了AI攻防接力

AI换脸是一种在深度学习（Deep Learning）算法的加持下的计算机篡改人脸图像的深度伪造（Deepfake）技术，随着AI换脸技术的不断迭代，在提高文娱、电商等产业生产效率的同时，也带来了层出不穷的风险。9月初，韩国出现“深度伪造”技术下的新“N号房”案件，韩国女性陷入“AI换脸恐慌”，甚至在中国社交网络上发帖求助。

与此同时，在上海外滩，一场有关于AI换脸的Deepfake攻防挑战赛聚集起了一群年轻的“AI打假师”。外滩大会期间，这场AI创新赛·全球Deepfake攻防挑战赛（以下简称“Deepfake攻防赛”）的其中一支参赛队伍——来自中科院自动化研究所的VisionRush开源了参赛AI模型，以回应韩国女性的“AI换脸恐慌”。随后，其他参赛团队也“接棒”，开启Deepfake Defenders“代码接力”行动，包括中科院、澳门大学、中国海洋大学等参赛队宣布开源比赛模型，希望此举能降低技术门槛、加强技术交流，遏制Deepfake技术的滥用。

外滩大会AI创新赛·全球Deepfake攻防挑战赛期间，参赛团队开启Deepfake Defenders“代码接力”行动。

值得一提的是，港澳学者组成的联合战队JTGroup在大赛中表现优异，获得Deepfake攻防赛图片赛道的冠军。来自香港城市大学博士后吴海威，带着他在澳门大学智慧城市物联网国家重点实验室的学弟学妹一起参加了图像赛道。澳门大学智慧城市物联网国家重点实验室研究员陈逸鸣是这支冠军团队的队长，谈及开源，他在接受南都记者采访时笑称，“我们的研究都是站在‘巨人’的肩膀上开展的，这些‘巨人’们都很愿意把他们的程序代码无私地奉献出来，我们为什么不也这样做？我们团队本身就秉持着科技向善的理念去做研发工作，参加这样的比赛也是希望能够把技术应用到大众需要的一些科技为善的事情上。”

JTGroup团队针对多类型多场景深伪识别率达到97.038%，如何做到的？团队代表陈翔宇在接受南都记者采访时表示，“这次的攻防赛是接近现实世界的数据规模，我们在很短的时间内突击学到了很多关于Deepfake生成和识别的新技术，也注意及时调整我们的算法模型细节，这可能就是我们能取得冠军的原因之一。”

南都记者从主办方获悉，Deepfake攻防赛由蚂蚁数科ZOLOZ和天玑实验室作为大赛出题方，是CV（即计算机视觉）领域最权威赛事之一。赛事数据集由公开数据和伪造数据组成，其中，伪造图片数据涵盖了现实场景中超50种生成方式，伪造音视频中则纳入了超100种组合攻击方式，组委会开放的训练数据集总量超过100万。

“本次大赛为技术研究者提供了高度模拟真实工业环境的演练机会，有助于产学研结合，培养负责任的实战人才。”大赛协办单位、新加坡科技研究局前沿人工智能中心副主任周天異说。走出试验场，将研发的技术成果应用到实际场景中，也是参赛团队们的目标。JTGroup团队的吴海威向南都记者表示，“AI辅助检测的算法已经应用在淘宝、天猫等资质审核阶段，以避免不法分子伪造营业执照和身份验证资料来申请开店，相比纯人工的审核可以降本增效。未来我们实验室的研究成果也期望能向更多企业侧、政府侧场景落地应用，比如应用于国家反诈APP等程序中，为Deepfake反诈、科技向善做出一些贡献。”

标准与应用：

共建AI换脸风险的防护网

当然，与Deepfake的对抗远不止于比赛，行业的响应前赴后继，从标准到应用，共建AI换脸风险的防护网。

南都记者在外滩大会科技展上体验蚂蚁集团天玑实验室的Deepfake检测互动设备。

在上海，外滩大会科技展上，蚂蚁集团天玑实验室展示了Deepfake检测的互动设备。根据南都记者体验，拍完一张实时照片之后，Deepfake深度伪造生成了几张不同的“南都记者”图像（如上图），随后蚂蚁集团天玑实验室的检测摇臂对每一张图像逐一检测判断，准确识别出，只有最后一张是真实的南都记者人像，其余均为深度伪造生成。

同时，《虚假数字人脸检测金融应用技术规范》标准也在大会上正式发布。标准规定了金融领域虚假数字人脸检测服务的功能要求、技术要求、性能要求等，并提出了对应的测试评估方法。据了解，这是国内首个面向金融场景的“AI换脸”检测标准。中关村金融科技产业发展联盟秘书长、中关村互联网金融研究院院长刘勇在演讲时说：“该标准的发布为金融场景下的虚假数字人脸安全检测和评估提供了依据，也填补了这一领域的空白。”

在广州南沙，在2024年国家网络安全宣传周“个人信息保护分论坛”上，南方报业传媒集团、工信部电子五所、国家互联网应急中心广东分中心、鹏城实验室、广东电信、广东移动、腾讯、华为、平安集团、广发银行、OPPO、比亚迪、深信服、深圳赛西、竞远安全等15家企事业单位宣布正式发起“广东省网络数据安全与个人信息保护协会”，并共同发出“促进网络数据安全与个人信息保护”倡议。据了解，AI换脸风险也将会是协会关注的议题之一。

中国移动AI换脸与实时鉴伪互动专区。（来源：2024年国家网络安全宣传周）

在今年网安周的网络安全博览会上，各大安全企业也纷纷展示了安全领域新产品和新技术。在中国移动的深度合成换脸实时鉴伪互动专区，南都记者体验了AI换脸的模拟系统，体验中Deepfake生成的视频可以被实时鉴伪技术精准识别为伪造，整个过程仅需5秒左右。中国移动信息安全与管理运行中心副经理王晓晴介绍称，该系统可以针对AI换脸、AI拟声、证件伪造等不同场景进行反制。他们在实名入网业务上开展了试点应用，基于鉴伪能力可实时检测实名验证过程中的AI人脸，主动防范“AI换脸”线上开卡、补卡等风险发生，鉴伪的精确率达90%以上。

的确，如何让普通人享受到Deepfake鉴伪技术带来的保障是当前技术研发的重要命题。中国科学技术大学网络空间安全学院教授周文柏在接受南都记者采访时就强调了这一点，他所在的中国科学技术大学网络空间安全学院智能认知安全实验室已经迈出了新一步。就在9月初，该实验室与荣耀合作研发的全球首个基于设备端AI换脸反诈的检测技术已经在荣耀手机上应用。在用户点击开始检测（start detection）后，该技术会对视频里的人脸进行检测，并给出被 AI 换脸的可能性，当可能性过高时，便会提醒用户检测到疑似换脸（suspected face swap detected）。据了解，中国科学技术大学网络空间安全学院智能认知安全实验室早在2019年时就开源了一个叫做DeepFaceLab（一种利用深度学习进行视频换脸的工具）的深度合成工具；2020年，团队参加由Facebook、MIT等组织的全球最大的“深度伪造检测挑战赛（DFDC）”，获得亚军。

用AI打败AI 

还有哪些问题待解？

从攻防赛到行业应用，用AI“去伪存真”的高效与实用性不言而喻。但不能忽视的是，风险仍呈指数级上升，全球Deepfake攻防挑战赛出题人、蚂蚁ZOLOZ技术总监姚伟斌在接受南都记者采访时表示，AIGC生成伪造今年的攻击量比去年大概增加了10倍。不仅仅是在中国，在韩国、菲律宾、印尼等等国家都有类似的情况发生。

尽管出现了许多检测技术，我们似乎仍然无法完全避免Deepfake带来的风险，为什么会出现这样一个局面？周文柏告诉南都记者，一个技术从理论研究到走向实用，并非立马就能发挥效应的一个过程，落地前将会遇到各种各样的挑战。“其实我觉得最主要的不是说技术上要达到多强的一个完善性。因为真正想要解决一个问题，只有5%需要依赖技术，剩下的95%是需要去依赖法律法规和执行标准的完善。”他指出，媒体、内容传播平台等主体参与的大众科普是非常必要的，公众也需要有更强的安全防范意识。

中国网络空间安全协会人工智能安全治理专业委员会委员张博在接受媒体采访时也建议，“AI换脸通常跟交易诈骗的场景相伴出现，比如视频通话，要注意观察对方视频当中的面部轮廓、光线背景这样的细节，看看是否有异常。如有必要可以要求对方做快速地抬头、点头、转头的动作，进一步判断视频是否有异常的细节，来确认这个视频是真实的。”

从技术层面来讲，还有哪些方向提高Deepfake检测的准确性？张博认为，可以结合身份认证、数字水印的手段来加大伪造难度。周文柏告诉南都记者，可以从两个方面来考虑，一个就是给检测的模型提供更多不同类型的高品质Deepfake数据。就像人学知识一样，深度学习模型也是，见过的数据越多，学过的知识越多，可能的识别能力就会更强。“另一个是在数据的发布端可以尝试做一些主动保护。比如我们的数据发布在社交平台之前，平台应当以某种方式打上鲁棒的可溯源标识信息（比如水印），这个标识信息可以伴随媒体素材进行传播，通过检测这个标识信息的完整性、语义等内容，判断当前的素材是不是经过了破坏或者伪造等。”周文柏如是说。值得一提的是，如今以抖音为代表的很多视频平台，针对疑似AI生成的视频都会有标注。

张博还建议，从管理方面，需要加快相关法律法规以及监管措施的制定和落实，来规范AI应用的使用方式和应用场景。在周文柏看来，《虚假数字人脸检测金融应用技术规范》这类标准的发布，就可以作为在规范企业、机构提供服务、进行技术应用时的一个指南，按照一定的规范、标准去来执行它的技术，防止技术在使用过程中产生对隐私、数据安全等方面的威胁，导致用户的权益受损，甚至国家利益收到侵害。

从相关领域人才培养的角度来看，也同时面临机遇和挑战。中国工程院院士中国图象图形学学会理事长王耀南指出，近年来，在境外已发生多起恶意利用该技术进行AI换脸欺诈，带来的经济财产损失、名誉受损等事件，面对全球范围的技术挑战，培养具有实战能力的AI人才已经刻不容缓。蚂蚁数科CTO王维则提出解法，希望“以赛促创”，通过接地气的赛题提高参赛者用科技解决实际应用场景中真实问题的能力，培养跨学科人才；通过汇聚全球的AI技术精英，在实战演练中交流和提高全球的对抗水平。

采写：南都记者 熊润淼

编辑：熊润淼

更多报道请看专题：2024年国家网络安全宣传周
2024 Inclusion·外滩大会

对这篇文章有想法？跟我聊聊吧

熊润淼5099W

南方都市报记者