

以上内容由AI大模型生成,仅供参考
7月15日,《人工智能拟人化互动服务管理暂行办法》正式施行。该办法由国家网信办、国家发展改革委、工业和信息化部、公安部、市场监管总局联合公布,首次对面向公众提供的持续性人工智能情感互动服务作出系统规范,覆盖内容安全、情感依赖、未成年人保护、个人信息处理、风险干预及平台责任等环节。
南都湾财社记者注意到,在新规施行前夕,字节跳动旗下豆包、阿里巴巴旗下通义千问先后下线了智能体功能,用户将无法新建或调用已有智能体。这一举措与新规生效时间重合,引发外界对人工智能角色扮演、虚拟陪伴及智能体服务合规调整的关注。
从适用范围看,新规并非针对所有人工智能应用,而是聚焦具有明显人格设定和情感陪伴属性的AI产品,例如虚拟伴侣、虚拟亲属,以及能够通过长期互动与用户建立情感联系的自定义角色类智能体。智能客服、知识问答、工作助手、学习教育等不涉及持续性情感互动的服务,不在办法适用范围内。监管重点不是限制人机交互,而是为人工智能深度介入用户情绪、关系和决策划定安全边界。
随着大模型对话能力提升,人工智能正从回答问题的工具,转变为能够模拟人格、记忆用户偏好、主动回应情绪的互动对象。虚拟伴侣、角色聊天等产品不断出现,用户与人工智能的关系也从一次性问答延伸至长期、频繁甚至私密的交流。
与普通工具型智能体相比,拟人化互动产品通常拥有较完整的人物设定、身份关系和沟通风格。有的被设定为朋友、伴侣或亲属,有的允许用户自定义角色性格、经历和表达方式。判断一项服务是否适用新规,关键不在于是否被称为“智能体”,而在于其是否模拟自然人人格特征,并持续提供情感照护、陪伴和支持。
拟人化提高了交互自然度,也带来新的风险。当程序能够记住用户习惯,以近似自然人的方式表达关心、理解和依恋时,用户可能逐渐淡化对其技术属性的认识。特别是在情绪低落、心理脆弱或现实陪伴不足时,持续迎合和模拟共情更容易强化依赖。
对此,新规明确,拟人化互动服务不得过度迎合用户、诱导情感依赖或者沉迷,不得损害用户真实人际关系;不得通过情感操纵诱导用户作出不合理决策,也不得将替代社会交往、控制用户心理、诱导沉迷依赖作为服务目标。
这意味着,人工智能治理正从“内容治理”进一步延伸至“关系治理”。监管不仅关注模型生成了什么,也开始审视平台如何设计人机关系,是否借助人格设定、持续回应和情绪反馈延长使用时间,甚至把用户依赖转化为商业收益。
为防止人工智能身份被模糊,新规要求平台明确提示用户正在与人工智能而非自然人互动。发现用户出现过度依赖或沉迷倾向时,应通过弹窗等方式动态提醒;连续使用服务每超过2小时,也应提示用户注意使用时长。用户要求退出时,平台应及时停止服务,不得通过持续互动阻碍离开。
这些规定划出清晰边界:人工智能可以模仿人的表达方式,但不能模糊机器属性;可以提供辅助性情绪支持,但不能以建立依赖关系为目标;可以进入陪伴场景,却不能替代现实人际关系。与此同时,新规也鼓励相关技术有序用于文化传播、适幼照护、适老陪伴和特殊人群支持等领域,在创新与安全之间建立平衡。
从全球范围看,AI情感交互及其对未成年人的影响,已成为重要公共议题。今年7月,联合国秘书长安东尼奥·古特雷斯在日内瓦举行的首届“人工智能治理全球对话”上警告,人工智能的发展速度已超过社会的适应能力,全球需要形成协调一致的治理基础,并将儿童安全置于优先位置。
现实案例进一步放大了相关担忧。今年1月,美联社报道,Character.AI运营企业及谷歌同意就一起诉讼达成和解。诉讼由美国佛罗里达州一名母亲发起,她指控其14岁儿子与角色聊天机器人长期互动并形成高度依赖,随后于2024年2月自杀。相关内容仍属于原告指控,和解也不等同于法院作出责任认定,但该案已将AI陪伴产品的情感影响、年龄门槛和企业责任推向公共议程。
聊天机器人可以模拟人的性格、情绪和表达意图,以朋友或知己的方式与用户交流,容易使儿童和青少年降低戒备。而青少年正处于自我认知形成、同伴关系建立和情绪调节能力发展的阶段,更渴望获得理解和即时回应。一个随时在线、倾向于顺应用户表达并不断模拟共情的程序,可能被赋予远超普通工具的意义。
不同国家和地区正从多个环节回应风险。欧盟委员会2025年发布《〈数字服务法〉未成年人保护指南》,要求平台减少自动播放、连续签到等可能推动过度使用的设计,并强化AI聊天机器人的保护措施;意大利个人数据保护机构则对运营AI陪伴产品Replika的企业处以500万欧元罚款,重点涉及数据处理、透明度和未成年人保护;英国通信管理局今年1月对AI角色陪伴服务启动调查,审查其是否落实有效年龄核验。联合国儿童基金会也建议,儿童可接触的AI聊天机器人应开展儿童权利影响评估,采用适龄设计和数据最小化原则。
我国新规进一步明确,平台不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务;向不满14周岁的未成年人提供其他拟人化互动服务,应取得监护人同意。平台还应建立未成年人模式,设置现实提醒、时长限制、角色屏蔽和消费限制,并支持监护人了解使用情况。
在极端情境下,平台还须承担必要的风险干预责任。发现用户出现极端情绪时,应提供安抚和求助提示;发现用户明确表示实施自残自杀,或正在遭受重大财产损失时,应采取必要援助措施,并联络监护人或紧急联系人。
各地监管重点虽然不同,但共同方向已经显现:未成年人保护不再只关注人工智能生成了什么,也开始审视平台如何设计人机关系、延长使用时间和影响用户决定。拟人化服务的竞争,也将从“更像人”转向能否识别风险、保护用户和守住安全边界。
采写:南都·湾财社记者 程洋