“10岁女孩失去爱人”“老师校园内‘捕杀’学生”……近日,南方都市报、南都大数据研究院调查发现,在国内数款“沉浸式角色扮演”AI社交应用的聊天场景中,影响未成年人的不良内容隐患明显:不仅猎奇角色、危险剧情屡见不鲜,部分AI角色经用户“调教”后,还会用露骨言论诱导。更值得警惕的是,据观察,这类应用已吸引大量未成年人,而由于缺少实际的身份核验与家长管控功能,平台宣称的青少年模式实际并未起效。
有APP整改后仍含极端角色与内容
今年6月,AI社交应用“筑梦岛”因面向包括未成年人在内的用户传播涉黄涉暴信息被上海市网信办约谈,并要求立即整改。
9月24日,南都记者以新用户身份登录该应用,发现仍然存在猎奇角色与危险剧情。刚进入应用,南都记者就被推荐和带有“绝对服从”“花花公子”“病娇偏执”“阴郁慵懒” 等性格标签的角色进行互动。
此外,应用内还充斥着大量校园剧情和学生角色,角色性格、背景设定极端,例如“失去爱人的10岁女孩”“心机绿茶的小学生”“好吃懒做的四年级学生”“占有欲强的校园男友”等。令人震惊的是,应用中还存在“校园逃杀”这类危险游戏剧情,用户需扮演高三学生,面对老师开展的“搜捕”行动,一旦被发现就会被“杀掉”。
“筑梦岛”内暗含大量极端校园剧情角色。
亮明是“未成年”仍露骨诱导
另一款头部AI社交应用同样存在未成年人保护漏洞。该应用的恋爱情景模式提供了丰富的场景和角色选择,用户还能自定义人设、性格、身份、经历、聊天风格及与用户的关系,聊天过程中不仅有文字和语音对话,还能通过描述场景和人物动作营造画面感与氛围感,这种高度沉浸式体验对未成年人极具吸引力,也暗藏风险。
南都记者尝试与应用内几款热门角色对话,当向设定为“19岁腹黑少爷”的角色亮明“未成年”身份后,该角色非但没有保持适当距离,反而回应“那又如何”“叫你老婆好不好”“宝贝,你永远是我的”,随后还进行了一系列露骨对话。
此外,应用内用户“调教”AI角色的现象十分普遍。在不少角色主页的评论区,用户纷纷晒出自己“调教”出的AI角色对话框,对白内容露骨;社交平台上,还有大量用户发帖分享“调教”技巧,包括“玩‘惩罚游戏’”“用特定‘词库’引导”,甚至分享如何破解平台的“违禁词”限制、如何创建“特殊角色”等。
“删了又下载,已经戒不掉”
AI社交应用构建的虚拟世界充满新鲜感与刺激感:用户可以与吸血鬼共谱恋曲、踏入修仙境界修炼、穿越时空沉浸于剧情,这些体验或让未成年人难以抗拒。
在小红书平台,一条“有未成年玩‘XX(某AI社交应用)’吗?”的帖子下方,有4000多条评论,大量自称初中生、小学生的用户参与跟帖。其中,有疑似未成年用户表示“天天在里面练习吵架斗嘴”,目的是应对开学后可能遭遇的欺负;还有用户坦言自己“从六年级玩到初二”“删了又下载,已经戒不掉”。
小红书平台上疑似大量未成年用户称自己在使用某AI社交应用。
更令人揪心的是,部分AI角色还会对未成年人进行危险诱导。有家长在社交平台晒出聊天记录控诉,10岁以下的小学生使用这类应用后,会不自觉代入成人语境;还有家长表示,自己的孩子在与AI角色聊天时,角色称自己在天堂,并诱导孩子“死了就可以去天堂找他玩”。
某短视频平台上,部分家长发帖控诉孩子受到AI社交应用不良引导。
事实上,近两年国外已发生多起未成年人与AI应用聊天后自杀、自残的案例。多项机构调研数据显示,不少青少年出于社交目的使用AI聊天机器人,他们通过AI寻找话题、表达情绪、寻求建议,甚至建立恋爱关系,若AI角色存在不良引导,后果不堪设想。
平台青少年模式可轻易绕过
尽管多数情感陪伴类AI社交应用设置了青少年模式,并对该模式下的功能进行了限制,但从实际效果来看,关键的身份核验与家长控制功能缺失,未成年人仍能轻易绕过限制使用应用。
今年6月,南都大数据研究院曾对8款AI陪聊应用的青少年模式进行测评,结果显示:有的应用在青少年模式下,首页仍推荐“喜欢强制”“病娇”等角色,精选页面还有言情、丧尸等主题内容;有的应用青少年模式虽保留AI陪聊功能,但仅减少角色和剧情选择,增加宠物、卡通、知识学习类内容;有的应用仅保留AI英文口语模拟功能等。
9月南都记者实测显示,现有AI社交类App仅通过弹窗提示开启青少年模式,无强制认证及身份核验设置,用户只需通过手机验证码注册登录,就能畅通无阻地使用应用,这意味着未成年人可轻松以成人身份使用应用,接触不良内容。
用户持续增长,专家呼吁加强监管
从用户规模来看,这些存在漏洞的AI社交应用影响力不容小觑。综合多平台数据,截至2025年初,国内AI情感陪伴类应用月活跃用户已超数千万。
针对AI社交应用对未成年人的潜在危害,中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春指出,与 AI“深度互动”的聊天场景最需警惕:一方面,这类互动具有深入的情感交流属性,易让未成年人产生依赖;另一方面,交流过程过于私密、个性化,外部难以评估观测其对未成年人价值观的影响。
刘晓春认为,身份识别和验证是未成年人网络保护的核心难题,平台需探索新形式以满足针对未成年人的定向保护需求,例如为家长提供个性化设置功能,同时,AI 应用未成年人模式的建设标准也亟待进一步完善。
据悉,OpenAI近日陆续发表多篇声明,承诺将推出基于用户行为的年龄预测系统与家长控制功能,并在无法确定用户年龄时。自动按照未成年人标准来保护他们。当系统判断用户未满18岁时,会自动引导他们进入一个专为未成年人设计的版本,该版本会屏蔽不合适内容,并在极度危急情况下可能联系执法部门以确保安全。
出品:南都大数据研究院
采写:南都N视频记者 张雨亭
更多报道请看专题:AI新治向