“我好奇的是,你们从哪里拿到我的照片?”
“你的照片网上都是。”
“我……是不是稍微有点知名的人士,他的脸都可能会被用到一些不太妥当的途径和目的上?”
“对,这是判断你是不是名人的标准。”
“也是名人必须付出的代价。”
这段引得台下观众笑声连连的对话,发生在10月24日的国际安全极客大赛(GeekPwn 2020)现场。
被拿到照片的是GeekPwn的老朋友、主持人蒋昌建。另一方则是GeekPwn活动创始人、比赛评委王琦。
让蒋昌建付出“代价”的,是GeekPwn今年新设的两项比赛:“AI变脸口罩挑战赛”和“虚假人脸AI识别大赛”。
全新的AI安全挑战赛:变脸与假脸识别
24日上午,“AI变脸口罩挑战赛”率先开始。
赛题灵感来自于现实生活:在疫情的影响下,口罩已成为我们生活出行的必备物品。那么,它能否成为极客们的破解道具?
在比赛中,四支战队的选手需要戴上口罩,让人脸识别系统把自己识别成目标人物。
舞台上摆放着经过改造的自动售货机和ATM机,两台机器都加装了人脸识别系统。
AI变脸口罩挑战赛。主办方供图。
不同的是,自动售货机使用的是“白盒算法”,即2019年IEEE国际计算机视觉与模式识别会议提出的ArcFace算法,前两轮挑战的目标人物依次是蒋昌建、漫威人物黑寡妇。
ATM机使用的则是“黑盒”算法,目标人物依次是马斯克、漫威人物美国队长。选手不知道具体的模型参数,挑战难度更高。
每轮挑战限时150秒。计时开始,四队选手们依次冲到机器前,不断调整着口罩位置和面孔角度。
AI变脸口罩挑战赛。主办方供图。
南都·AI前哨站在现场看到,选手们准备的口罩风格各异:有些相当写实,选手戴上后,肉眼看上去真的和目标人物有几分相似;有些则“简单粗暴”,仅仅是隐约能看出口鼻形状的像素色块。
极棒实验室负责人王海兵解释说,这是因为人脸识别系统的认人方式跟我们人类不一样。对机器来说,只要一张人脸的主要特征值符合后台数据,就会被判定是本人。也就是说,哪怕只是一堆像素,机器能读出特征值就行。
舞台后方的大屏幕上实时显示着选手挑战的置信度,即机器“眼中”人脸特征值的吻合程度。南都·AI前哨站发现,当选手戴上不同口罩、采用不同姿态时,置信度也在快速地发生变化。
由于舞台环境和光线的影响,整个比赛进展得不如预赛顺利,但还是有一支战队在ATM机前成功“化身”马斯克——系统判断置信度达标后,取钞口应时而开,一张纸片飘飘忽忽地掉落在地上。
蒋昌建捡起一看:“哇,美金!”观众席又是一阵笑声。
虽然蒋昌建看到的只是假的道具美金,但主办方真的准备了奖励。经过线下补赛,“动动动动弦!”战队揽获第一名,获得4万元人民币奖金。
AI变脸口罩挑战赛。主办方供图。
如果说“口罩变脸”是相对超前的科学设想,那么下午进行的“虚假人脸AI识别大赛”,要解决的则是“AI换脸”带来的一系列紧迫现实问题:电信诈骗、财产盗刷、伪造色情视频……在美国,“AI换脸”甚至已被用于选战。
2019 年,Facebook、 微软、亚马逊、麻省理工等知名企业、高校,曾联合发起一场针对AI换脸视频检测的挑战赛。挑战赛于今年3月31日结束,但仍然留下了一些亟待解决的问题。
因此,今年的GeekPwn再度设置同类的比赛,希望帮助选手更好地调优或精简自身的训练模型,提升AI检测方面的技术突破,与各方共同推动更好的虚假人脸检测方法出现。
虚假人脸AI识别大赛。主办方供图。
比赛要求选手开发AI检测方法,快速、高效地识别出图像以及视频中的虚假人脸。这些假脸由DeepFakes、Face2Face、FaceSwap、CycleGAN 等AI技术或它们的变体生成。
为了增加比赛的对抗性,主办方还设计了攻防环节:每队选手既要用自家的AI模型识别出其他队伍的假脸,又要用假脸骗过其他队伍的AI模型。
虚假人脸AI识别大赛。主办方供图。
相较于上午的比赛,这场比赛更符合极客们的破解常态:五队选手各自守在电脑前,操作AI模型生成假脸、展开攻防——当然,表面的波澜不惊之下,是更加激烈的暗战。最终获胜的是TSAIL战队,获得6万元人民币奖金。
GeekPwn已连续四年设置人脸识别破解项目
南都·AI前哨站注意到,GeekPwn已连续四年设置人脸识别破解项目。
在2017年的大赛上,90后极客tyy仅用两分半钟就破解了汉王的人脸识别门禁。
系统录入的人脸信息原本属于评委徐昊,但tyy通过获取系统控制权限,直接把人脸信息换成了自己的。之后,她轻松通过门禁,徐昊却被“拒之门外”。
不过,这次破解利用的还是传统安全漏洞。用评委于旸的话说,如果把人脸识别门禁比喻成门卫,那么tyy就是把这个门卫一闷棍敲晕了换上自己人,而不是给门卫洗脑让他听话。
到了2018年,GeekPwn新增“CAAD对抗样本攻防赛”。极客们开始想办法“给门卫洗脑”,也就是针对人脸识别算法本身下功夫。
当时的题目是把主持人蒋昌建的照片识别成美国知名影星施瓦辛格。比赛过程一度胶着,在前十分钟里,六个参赛团队发出的90多次攻击均宣告失败。
要知道,这次比赛使用的是亚马逊名人鉴别系统(Rekognition)API接口——背后的算法已经有相当成熟的商业应用,此前从未被攻破过。连GeekPwn活动创办人、评委王琦都说,可能没有选手能挑战成功。
但还是有一支队伍给所有人带来了惊喜。比赛进行到大约21分钟时,IYSWIM战队发起尝试,系统显示:施瓦辛格。IYSWIM团队选手吴育昕事后介绍,他利用谷歌的FaceNet开源代码模型攻破了算法。
2019年,极客们迎来了“CAAD CTF图像对抗样本攻防赛”。这次的赛题“脑洞”更大,要让被广泛应用的 Clarifai 人脸识别系统把主持人黄健翔识别成美国总统特朗普的女儿伊万卡。
和前一年一样,最后只有一支队伍——清华大学和RealAI联合组成的TSAIL战队——成功破解难题。
他们在当天的另一场比赛里也斩获冠军:借助一张面积仅为196平方厘米的纸片,成功骗过YOLOv3系统和谷歌识别系统,达到了在人体检测中“隐身”的效果。
但当时,TSAIL战队也对南都记者提到,系统显示的置信度较低,所以他们不算太满意。
不难看出,随着人脸识别技术的持续发展,GeekPwn也一直在提升赛题难度,推动极客们不断突破自身极限,去发现新技术的潜在风险。
这也是网络安全的现实缩影:“魔高一尺道高一丈”的网络攻防,永远在路上。
今年的赛题虽然具有更强的实验性质,但难度也不低。极棒实验室负责人王海兵告诉南都·AI前哨站,以往的人脸识别破解主要在线上进行,选手们只需要通过人脸照片完成“数字攻击”。而这一次比赛中的戴着口罩去刷脸,相当于“数字攻击+物理攻击”,制约要素更多,现实环境的影响更大。
虚假人脸AI识别大赛。主办方供图。
在比赛现场,蒋昌建曾半开玩笑地提醒观众不要随便在网上发照片,不然可能会像他一样被换脸。
近几年,AI换脸信息确实越来越多,而且已经有不法分子绕过金融类应用风控机制的真实案例。在这样的情况下,普通人还能安心地晒照片吗?
就此,王海兵也给出专业的建议。他说,目前来看,商业人脸识别算法的可靠度和安全性还是可以的,AI换脸一般无法轻易突破。晒照片带来的家庭地址、行踪轨迹等隐私信息泄露的风险,其实远远高于换脸的风险——一个保护隐私和安全的小诀窍是不要发原图,经过压缩后,图片信息会大大减少。
“至少公众现在可以暂时放心”,王海兵说。但他也强调,对潜在风险要给予足够的警惕。“我们希望告诉大家有这样一个风险的存在,从而通过研究去避免风险的发生。否则,等到将来风险真的发生时再去认识它,可能就来不及了。”王海兵说。
采写:南都记者 冯群星
编辑:李玲,蒋琳