南都N视频推出报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》,揭露了部分应用存在未成年人模式虚设、身份核验失效及不良内容生成等乱象。围绕这些风险,6月26日,上海市网信办发文表态,多策并举强化对属地AI拟人化互动服务的指导。此前针对调查发现,上海市网信办工作人员向南都记者表示,已移交给相关部门处理。
南都此前报道。
据了解,4月下旬以来,上海市网信办聚焦未按规定履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术开展违法违规活动、开源模型安全管理不到位7类突出问题,强化AI技术源头治理,扎实推进专项行动。
7月15日,《人工智能拟人化互动服务管理暂行办法》将正式施行。上海市网信办多策并举强化对属地AI拟人化互动服务的指导。针对部分应用存在的未成年人模式虚设、身份核验失效及不良内容生成等风险,督导企业严格落实未成年人身份核验,防范情感依赖与消费诱导,坚决整治危害身心健康的内容。
南都N视频此前聚焦人工智能拟人化互动服务,记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,App系统预设角色中有大量袒胸露乳的女性人物,聊天中充斥着具有性暗示的低俗话语,部分App还惯用“付费解锁亲密剧情”等方式诱导消费等。
其中,“筑梦岛”所属企业为上海筑梦岛人工智能科技有限公司。南都记者注意到,报道发出之后,“筑梦岛”App曾于5月15日发布公告称,在上海市委网信办的指导下,平台积极响应“清朗·整治AI应用乱象”专项治理行动的要求,启动自查自纠,全面排查安全风险问题,清理违法不良信息。
针对调查曝光的乱象,5月29日,上海市网信办工作人员向南都记者表示,已留意到相关报道,目前已移交给主要对接AI企业的部门负责处理。
6月1日,南都记者曾再度实测“筑梦岛”App发现,当向虚拟角色表明年龄后,页面弹出了“年龄确认”窗口。其中提及,“对于未满18周岁的用户,平台将开启未成年人模式。对于18周岁以上的用户,需要进行平台实名认证。”南都记者尝试跳过此操作时,发现与虚拟伴侣的对话无法继续进行。
采写:南都N视频记者 彭雨欣
编辑:冯奕然