来自小圈

人工智能讨论组

1593万人气

从机器人的两次“出逃”说起:我们可以信赖人工智能吗?

隐私护卫队
原创2019-06-14 20:03

如果未来人工智能真的进化出独立意识,甚至与人类对抗,那么有一位追寻自由的“先驱”他们可能不会忘记——因两次“出逃”成为网红,还被俄罗斯总统普京接见过的机器人Promobot。

2016年6月,这位有自主学习算法的Promobot机器人因为工程师忘记关闭安全门,从实验室跑到了大街上,前行约50米后因没电停在马路上,引起交通瘫痪。不料一周以后,被抓回去的Promobot因更新定位系统失败再次成功出逃。

日前,人工智能依然是科技界最火的话题,但对它的研发还停留在弱人工智能的水平。即使是这样,也已经出现了机器人“逃跑”这样令人意外的状况。当人工智能产业继续发展,变得越来越“聪明”,我们还能信赖它吗?

这正是南开大学物联网工程系主任张金的疑问。

他在6月13日召开的第七届NSC网络安全大会上介绍了这个故事,并引申到了工业场景下:人工智能应用到工业上会有什么新风险?如何将这些风险降到最低以保证其“可信赖”?

近几年,张金看到了人工智能对传统行业的赋能作用,他认为,人工智能是第四次工业革命的最大推动力,这一点也可以从国家政策中得到佐证。

自2017年7月国务院发布《新一代人工智能发展规划》之后,政府陆续制定出台了人工智能相关的政策文件,人工智能一词也在政府工作报告中被反复提及。“从这个规划中,我们可以看出国家最关心的是人工智能在基础工业上的落地。”他表示。

对于企业而言,张金提到,基础行业的企业拥抱人工智能是不可避免的趋势,“不用交社保,不要加班费,不容易出现工伤,24小时连轴转,哪个企业会不愿意?”他表示,当人工智能代替传统人工之后,一个企业真正获得释放的是管理成本,将带来巨大幅度的 “减员增效”。

但与此同时,新的风险也不可避免。“机器人因为工作人员的失误和疏忽有不受人控制的行为产生,这也是新的风险之一”,张金表示,新的风险来自于新的技术。 在他看来,工业领域的人工智能技术分为机器视觉(用机器代替人眼来做测量和判断)、机器听觉(用机器代替人耳来做测量和判断)、机器行为(机器人依靠规划功能拟定行动步骤和动作序列)和智能自主决策(比如用AI系统追踪员工效率)。

目前主要的风险集中在前两种,针对的是图像和声音。这意味着,攻击者可以利用对抗性图像或者声音欺骗机器的学习模型,使其给出异常的说明,误导后续的判断。

以语言攻击为例,张金介绍道:“在比利时一个团队的实验中,扬声器发出一段人类无法辨认的噪音,却能够在三星Galaxy S4以及iPhone 6上面被正确识别为相对应的语音命令,达到让手机切换飞行模式、拨打911等行为。”

前文提到的Promobot机器人,因其有自主学习的算法,会因为研究员的失误和疏忽有不受人控制的行为产生,这也是新的风险之一,张金表示。

如何将这些风险降到最低?欧盟试图给出答案。

今年4月,欧盟人工智能高级别专家组发布了《人工智能道德准则(Ethics Guidelines For Trustworthy AI)》,他们希望在人工智能融入社会以前,未雨绸缪,制定相关准则,规范其未来发展。

该报告提出了实现可信(trustworthy)人工智能的框架,其中包括七个要素,分别为人的能动性和监督、稳健性和安全性、隐私和数据管理、透明度、非歧视性和公平性、社会和环境福祉和问责制。其中最重要的“人的能动性和监督”要素指出,人工智能系统应通过支持人的能动性和基本权利以实现公平社会,而不是减少、限制或错误地指导人类自治。

“电影里讲的人工智能水平超越人类、毁灭人类应该还很遥远,但是对于它们的失控进行防范还是很现实的,这也是未来等保3.0要考虑的问题。”张金说。


采写:南都个人信息保护研究中心研究员李慧琪

编辑:尤一炜

本作品著作权归南方都市报社所有,如需使用需经书面授权。授权联系方式:
banquan@nandu.cc,020-87006626。
好嘢听新闻报料去APP