如何管行为、管关系?外滩大会纵论智能体安全坐标与责任边界

南都N视频APP · 南都大数据研究院
原创2026-09-12 18:58

“未来要防的,是海量在线、持续进化的攻击智能体。”

“在管好内容、管好行为的基础上,还要管好关系。”

“谁能够控制行为边界,谁有能力防范风险,谁从行为当中获得收益,谁就负责。”

9月9日下午,2026Inclusion外滩大会“智能体时代的安全坐标与责任边界”见解论坛在上海举行。来自上海网信部门、行业协会、科研机构、标准化组织、高校、国际组织及产业界的代表齐聚,近20位专家围绕智能体规模化落地后的安全治理、标准建设、技术实践、责任归属等新议题展开研讨。

论坛指出,人工智能正从“工具理性”向“主体智能”跃迁。与会者形成共识:AI已不再只是被动响应指令的算法模型,而是具备自主感知、跨域决策、独立行动能力的“数字新物种”,其作用范围正从信息世界延伸至物理世界。治理要从内容合规,走向行为可控、责任可追。

图片

2026Inclusion外滩大会“智能体时代的安全坐标与责任边界”见解论坛现场。(主办方供图)

全球监管重心转向“行为管控”

“三万员工的公司里,活跃运行的智能体已有十万个,人均三个”,论坛开篇,蚂蚁集团资深副总裁周志峰抛出一组颇具冲击力的产业数据,当十万智能体大规模进驻办公生产系统,前所未有的安全治理挑战随之而来。

如何为智能体划定安全坐标、搭建适配的治理体系,成为当下产业与监管共同面对的现实命题。论坛上,网信机构的专家梳理了全球智能体政策法规后指出,全球智能体治理尚处在探索期,新加坡、欧盟、美国、英国演化出四条差异化路径:新加坡出台了专门的治理框架,欧盟依托现有的立法开展监管,美国是从技术标准入手作为主要的抓手,英国采取多监管机构协作治理的模式。

“尽管立法模式、监管力度各不相同,但全球已经形成治理共识。”该专家总结,监管重心从模型内容审核转向智能体实际行为管控,重点防范权限滥用、越权操作、数据泄露等风险。

需警惕决策失误“慢性病”

智能体能力跃升的背后,攻防格局已经发生根本性反转。两位技术专家分别从攻防对抗、底层架构层面剖析智能体时代网络空间安全的现实困境,提出技术破局思路。

“AI从发现漏洞到完成端到端攻击最快只需27秒,而高危漏洞平均修复周期却很长”,杭州电子科技大学副校长、浙江大学区块链与数据安全全国重点实验室常务副主任任奎,用悬殊数据点出现实的攻防失衡。据他判断,未来要防的,是海量在线、持续进化的攻击智能体,传统依靠人工告警处置的防御模式难以为继。

“今天大家用智能体干活,觉得非常快、非常好。但是大家不知道整个背后的可靠性”,蚂蚁集团副总裁兼首席技术安全官韦韬将视角下沉到智能体的底层逻辑,他观察到,智能体架构中存在两类超危漏洞:一是上下文缺少明确边界,容易被诱导造成敏感信息泄露;二是自然语言指令存在天然模糊性,有研究实测约80%的“禁止事项”约束可以被绕过。在他看来,漏洞攻击属于看得见的“急性病”,更需要警惕的是难以察觉的“慢性病”——即便智能体仅有2%的决策失误,经过长期迭代累积,也会演变为无法修复的“慢性癌变”。针对上述难题,他提出“以确定性结构控制非确定性智能”的技术思路。

两项团标启动研制

面对智能体技术呈指数级迭代的态势,标准建设必须跑在风险前面。论坛现场,两项团体标准正式启动。蚂蚁集团大安全副总裁、信息安全事业部总经理王宇介绍,《智能体身份鉴别与授权技术框架》《智能体运行时安全技术要求》两项团标已在中国网络空间安全协会立项,前者指导开展智能体身份鉴别与访问控制等活动,后者则聚焦智能体运行全过程,搭建多层防护体系,及时识别、处置运行中的各类风险。

团体标准快速响应产业现实问题的同时,国家级标准体系也在分层布局、稳步推进。论坛中,电子信息领域标准研究的专家谈到,相关标准推进采取多类型文件并行、研制与研究相结合、通用标准与专项标准互补的工作思路。

据介绍,目前《人工智能安全治理框架》2.0版已经对外发布,还在持续完善新的版本,将涉及智能体安全问题。今年7月,面向企业使用者的《网络安全标准实践指南——智能体部署使用安全指引》正式发布,为使用者安全部署使用智能体提供指引。与此同时,强制性国标《智能体应用安全基本要求》正在加紧编制,数据处理安全、AI安全护栏、安全能力成熟度评估等一批配套标准也在同步推进完善。

从“管内容”到“管关系”

智能体可相互转交任务、共享数据资源,风险不再局限于单个系统内部,传统治理思路已经难以覆盖多智能体协同带来的新型隐患。

业界专家提出,智能体治理需要在“管内容、管行为”基础上,新增“管关系”这一关键维度,重点审视任务委托、主体协作、数据流转的完整链条。蚂蚁集团智能体安全负责人朱传群从企业落地层面谈到,多智能体链式传导、跨生态身份互认仍是行业现实难题,需要依靠全行业标准共建逐步破解。

西南政法大学人工智能法学院院长陈亮从司法角度回答了“谁为智能体行为负责”。他指出,智能体虽具备“无需外部干预即可决策”的能力,却缺乏认识行为后果的认知能力和控制自身行为的能力,因此不能成为法律责任主体。责任应沿“控制力”标准追溯:谁控制了系统目标、风险阈值、模型训练与输出审查,谁有能力防范风险、谁从行为中获益,谁就承担相应责任。

治理要坚持场景化分级施策

在圆桌环节,上海社会科学院互联网研究中心主任惠志斌、蚂蚁集团大安全副总裁王宇、上海第五空间信息科技研究院理事长朱易翔、浙江大学数智融合研究实验室主任韩蒙、上海南洋万邦软件技术有限公司信息安全解决方案中心总经理冯文豪共同围绕智能体时代效率与安全的平衡、风险管控的实现路径、责任如何锚定划分、新技术环境下安全体系如何迭代等议题开展研讨。

5位专家形成共识:一方面,智能体带来生产力跃迁的同时,风险形态也同步迭代,原有的传统安全范式已无法适配智能体的技术特性。另一方面,治理实践要坚持场景化分级施策。正视智能体存在绕过管控的行为特点,摒弃单点防护思路,构建纵深防御体系;尤其民生、关键业务场景,试错空间有限,必须守住人类可介入干预的安全底线。与此同时,安全不应成为业务创新的刹车,而要承担起“监护人”的角色。要把握权限、流程监控、熔断机制三大核心抓手,厘清各参与主体的责任边界,通过洞察“智能体想干啥、干了啥、干成了啥”,实现任务全链路可观测可追溯。最后,智能体安全能力的完善离不开行业协同共建,要在安全可控的基础之上,充分释放智能体的产业价值。

据悉,本次论坛由外滩大会组委会主办,上海市信息安全行业协会、蚂蚁集团、上海第五空间信息科技研究院联合承办,光明网网络安全频道&数字化频道、新华财经、南都大数据研究院、InfoQ支持。


出品:南都大数据研究院

采写:南都N视频记者 张雨亭

南都N视频,未经授权不得转载、授权联系方式
banquan@nandu.cc. 020-87006626