港科大(广州)钟秉灼:将智能体“当人来管”,外设安全栅栏

南都N视频APP · 南都大数据研究院
原创2026-05-21 21:24

5月21日,以“如何共守智能体安全底线”为主题,“AI新治向”系列沙龙第二期活动在广州举行。活动上,香港香港科技大学(广州)信息枢纽人工智能学域助理教授、副研究员钟秉灼带来“智能体的物理安全与隐私保护”主题分享。

在钟秉灼看来,人工智能作为人的智力的延伸,能主动产生信息、自主决策,当其与物理世界深度耦合,传统的信息安全范式已无法应对其带来的新型风险。对此,他提出“将智能体当作人来管”的治理新范式——既要通过价值观灌输促进内生安全,更要构建独立于智能体之外的安全栅栏。

图片

新问题:智能体安全与物理世界强耦合

在钟秉灼看来,当前我们正面临第四次工业革命——人工智能革命。钟秉灼指出,从人类发展角度出发,前三次工业革命解决的是能源动力、信息流动的问题,但决策权始终在人的手中,而人工智能革命的核心,是出现了能够延伸人类智力的工具——人工智能,它可以主动产生信息、进行决策,由此带来了AI深度合成、数据泄露等前所未有的安全风险。

而当人工智能从“信息空间”进入到“物理空间”,智能体进一步被部署到机器人、自动驾驶等物理实体上时,往往具备一定的自主编排、自主理解、自主执行能力,其安全问题与物理世界强耦合。

也就是说,智能体的错误决策将直接转化为物理世界的破坏,安全问题不再局限于信息伪造或数据泄露,而是直接与生命、财产损失相关联,若出现重大事故容易反作用于技术发展。钟秉灼强调,技术最终要应用到实际生活中,不能让安全问题成为发展的绊脚石,阻碍技术落地。

新思路:把智能体“当作人来管”

钟秉灼指出,当前对智能体的安全治理,多集中在数据安全防护、模型安全增强、AI可解释性与透明化、AI对齐等“内生安全”层面,这些手段对于软件是有效的,但智能体“会自主决策,会抵抗对齐”,仅依靠价值观灌输教育等内生安全机制,不足以确保其安全性和可控性,。

对此,钟秉灼类比人类社会的治理逻辑,提出一个新思路:既然智能体部分承担了人的决策角色,那么就应该将智能体“当作一个人来管”,既要通过价值观灌输促进内生安全,更要构建独立于智能体之外的外部安全栅栏。且外部安全栅栏应该作为企业推出智能体应用流程中的强制性环节,并基于确定性规则而非智能体本身运行,像传统软件范式一样可验证、可测试,由此明确智能体出错后的权责划分,平衡技术落地与安全保障。

同时,他也强调,要推动具身智能等前沿领域发展,不可避免要在对应领域收集数据,不应将此视为“洪水猛兽”。在他看来,面对第四次工业革命的历史机遇,我国应坚持“发展为主、安全兜底”的原则,在智能体治理上把握平衡——既促进数据的积累与流通,也确保基本的隐私防护安全底线。

“AI新治向”系列沙龙由粤港澳大湾区生成式人工智能安全发展联合实验室、南方都市报社主办,广东省网络数据安全与个人信息保护协会支持。相关政府部门、司法、学界、企业、媒体等多方代表出席了活动,聚焦国家网信办、国家发展改革委、工业和信息化部联合印发的《智能体规范应用与创新发展实施意见》核心要求,剖析智能体应用安全风险底层逻辑,探讨多元共治与创新实践方案。


出品:南都大数据研究院

采写:南都研究员 唐静怡

摄影:南都N视频记者 袁炯贤

南都N视频,未经授权不得转载、授权联系方式
banquan@nandu.cc. 020-87006626