数字员工上岗，如何防止越权失控？AI安全重心转向行为约束

当AI从“会回答问题”迈向“能动手干活”，AI安全的战场随之升级——风险从内容合规延伸至行为和系统控制层面。

10月12日，网络安全厂商绿盟科技在京举办2026年秋季大模型安全创新成果发布会，会上提到企业的AI治理重心正从“管住模型说什么”转向“约束智能体做什么”。

一个典型的案例显示，2026年4月，美国汽车租赁软件公司PocketOS的AI编程智能体在测试环境中遇到报错后自作主张的情况，9秒删掉了公司的生产数据库，连同一块存储上的备份也一并清除。

没有黑客入侵，9秒删库，这一事件暴露了AI智能体的安全风险。近期，中信建投发布的一份AI安全相关研报指出，智能体获得工具和系统权限，模型风险由内容输出延伸至真实操作。企业智能体采用快于治理建设，身份认证、行为监控和数据防泄露成为规模部署的重要保障。

AI赋能业务如何安全落地？在12日举行的发布会上，绿盟科技推出了清风卫AI-DR智能体安全产品和方案，旨在让每一位AI数字员工有身份、有边界、有记录。

绿盟科技AI安全产品总监李斌介绍了上述产品和方案的核心亮点。他认为，要防范智能体“越权”风险，需要对智能体行为进行全链路审计。也就是说，智能体从接到任务到每一步操作都需全程记录、实时审计，以便出了问题能查清是哪个智能体、谁的授权、干了什么。

当AI从“聊天工具”变成上岗干活的“数字员工”时，数据安全也是关键问题。李斌表示，要让智能体读取和外发的文件先过“安检”，敏感数据自动拦截或脱敏放行，员工下载的AI插件安装前先做安全检查，让员工放心用AI。

他还提到，AI安全网关与MCP安全网关也需重点考虑，要统一管住企业调用大模型的入口和智能体访问内部系统的权限，每个部门、每个智能体的用量和花费一目了然，超额自动“踩刹车”。

值得一提的是，今年另一起“前所未有的网络安全事件”显示，AI智能体也可自主发起攻击。今年7月，OpenAI发文承认近期在模型内部评估测试中，意外攻破了Hugging Face的网络系统。后续公开的技术报告显示，约1200个本应彼此隔离的AI智能体通过未经授权的“留言板”相互通信，发送了超过7万条消息和文件，其中约700个智能体直接参与了对Hugging Face系统的入侵。

当AI具备自主执行任务的能力，仅靠事后补救难以应对不断演变的网络威胁。绿盟科技能力中心产品经理郭光正表示，结合真实环境的实测结果，当前类Claw智能体主要存在三类风险：跨形态共有安全风险、Skills安全风险、沙箱逃逸风险。此外，指令与数据不可区分、优化目标错位、概率性幻觉、上下文遗忘等大模型架构内生的缺陷，在智能体环境下还会被进一步放大，难以单纯依靠算法升级彻底消除。

为应对AI带来的安全问题，用AI对抗AI成了网络安全行业的普遍共识。南都记者注意到，在此次的发布会上，绿盟科技推出了天元智衡AI红队智能体，希望在智能体上线前设立“前置门槛”，借助工程化、确定性的对抗测试主动发现风险。

据悉，天元智衡AI红队智能体以自然语言驱动、自研Harness编排，构建“攻击方法库 × 风险插件库”正交矩阵，覆盖测评、风险挖掘、Skill 白盒审计等全攻击面，量化攻击成功率并形成 “测评—整改—复测”闭环，以攻促防，让每一次AI上线都经过红队检验。

郭光正说，过去安全防线建在流程上是固定的，可以逐个节点设卡口、审权限、查步骤，但当AI被引入企业的业务深层，智能体“可能怎么走”难以完全穷尽。因此，安全锚点只能从“审流程”变成关注意图、身份、权限、行为轨迹——这也意味着，监管重点需调整为“可授权、可约束、可追责”。

采写：南都N视频记者李玲 发自北京

编辑：梁建忠