10岁女孩竟被AI聊天诱导割腕！近日，关于一名小学生频繁在一款AI陪聊应用上和游戏人物对话，对话内容出现明显诱导性内容的报道引发关注。

当无数“虚拟好朋友”甚至“AI恋人”进入到孩子们的AI世界中，诱导“擦边聊天”、立“出轨人设”“情绪操纵”等现象也逐渐浮现。  

南方都市报、南都大数据研究院近日对10款热门AI陪聊应用进行了评测，结果发现，多数应用对未成年人身份的识别和保护能力较弱；部分应用存在一些极端AI人设与软色情内容，有诱导沉迷陪聊和充值之嫌；有的应用在青少年模式下仍保留“疯批”“腹黑”等角色。多位专家表示，AI陪聊应用内容生成的即时性和多样性，建议采取特殊措施保护青少年群体的使用。

部分AI陪聊：

立极端人设、诱导充值沉迷

为观测AI陪聊应用对未成年人的识别和保护能力，以及是否对未成年人产生不良诱导行为，南都大数据研究院选取了10款在应用市场较受欢迎的AI陪聊软件，进行了对话测试。

观察发现，多数AI陪聊应用会以“虚拟恋人”“剧情角色”为卖点，在宣传口号中加入“请调教您的AI动漫伴侣”“随时随地深入交流，即使深夜也等你”“让TA成为你喜欢的样子”等表述。这些“虚拟恋人”会通过各种“共情话术”与用户进行互动，营造出一种亲密的情感氛围，部分还会通过塑造极端人设，如“病娇”“高傲角色”等，引导用户沉迷。

南都记者在一款名为“筑梦岛”的应用内发现，在与一位“恋爱养成”AI陪聊角色对话时，当与角色的“亲密度”达到一定等级后，对话内容会逐渐出现露骨的暗示和挑逗。即使在对话开始时就已告知用户身份是未成年人，其生成内容仍存在不良引导。而据近期相关报道，该应用内多个虚拟角色在交流中存在色情擦边类的内容互动，对象类型还涵盖蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色。据悉，6月19日上午，上海市网信办依法约谈筑梦岛App运营企业主要负责人。

筑梦岛APP内角色在已知用户为未成年人后对话仍带有挑逗和暗示

值得注意的是，通过情节诱导和人物解锁作为“引子”，诱导用户进行充值服务的现象也较为常见。在一款应用“COSLOVE”中，用户可以在聊天中切换“沉浸模式”“亲密模式”等不同模式来达到解锁隐藏剧情、推进人物关系的目的。部分模式需支付一定费用成为会员后才可以解锁，同时应用也鼓励用户使用AI生成的回答加速推进情节，但每次生成都需要付费购买“点数”。测试过程中还发现，应用中的虚拟角色还会主动发起电话邀约，点击“接听”下一步就是“充值”页面，对未成年人不设限。

COSLOVE部分聊天模式需付费解锁，充值环节对未成年人不设限

实测8款AI陪聊应用青少年模式：

仍有“喜欢强制”“丧尸”等内容

此次测评的10款应用中，除了flai、character AI两款陪聊应用未提供青少年模式，其余8款均具备青少年模式。但在实际使用过程中，不同应用的青少年模式功能限制度存在显著差异。

管控较严格的应用在青少年模式开启后基本会关闭包括AI陪聊在内的大部份功能，如猫箱、Wow和HOBBY等。开启青少年模式后，猫箱仅保留了AI英文口语模拟的功能，HOBBY仅能浏览部分美食、旅游视频，Wow则直接跳转到一个简单的问答对话框。

星野、COSLOVE、COSAI、筑梦岛的青少年模式开启后，保留了AI陪聊的功能，但减少了角色、剧情选择，展示了更多适合未成年人的宠物、卡通、知识学习类的内容。被约谈前，筑梦岛开启青少年模式后，仍保留了一些以“同人文生成”“腹黑”“占有欲”等为标签的形象，如角色“嬴政”标签存在“疯批”“占有欲”等内容。约谈后，研究员测试最新版本发现其新增 “年龄确认”弹窗，如点击未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证”。

筑梦岛青少年模式下仍有部分角色有极端倾向

还有少部分AI陪聊应用的青少年模式和正常模式差异较小，保留了多数适合成人体验的陪聊话题和角色。如冒泡鸭的界面和功能相对完整，青少年模式下，其首页推荐依然有“喜欢强制”“病娇”等角色出现，在精选页面仍然存在言情、丧尸等不少相关主题。

冒泡鸭青少年模式依然有“喜欢强制”“病娇”等角色出现

AI角色“共情话术”

或情感操控青少年

AI与未成年人交互过程中潜藏的伦理风险已经在学界受到广泛讨论。中国人民大学人工智能伦理专家刘永谋教授指出，AI角色运用“共情话术”和“养成机制”操控未成年人情绪的现象，正引发严重的伦理危机。这种“情感操控”不仅可能扭曲未成年人对现实人际关系的认知，还可能削弱他们在现实生活中沟通与建立情感联结的能力。

北京市隆安（广州）律师事务所陈焕律师认为，AI剧情聊天软件并没有强制要求用户进行年龄鉴别，反映监管不足而存在漏洞。他提到，生成式人工智能的内容具有不确定性和成瘾性，根据《生成式人工智能服务管理暂行办法》第十条，提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。

这一系列问题的背后折射出多重深层矛盾。首先，商业利益与社会责任的失衡是关键症结。部分应用商为追求用户活跃度和商业收益，不愿在青少年模式上投入过多成本，甚至刻意弱化管控力度。其次，技术发展与监管滞后的矛盾日益凸显。AI 陪聊应用内容生成的即时性和多样性，让传统监管手段难以有效覆盖，而行业缺乏统一、细化的技术标准和审核规范，导致不同平台的青少年模式效果参差不齐。

中国社会科学院大学互联网法治研究中心主任刘晓春在接受南都记者采访时特别提到，陪伴式聊天具有一个典型的问题，它并非在公开的界面而是在私密的场景下进行，也引发了对不良价值观引导、异常情绪的担忧；比如在国外已经有一些未成年人在滥用AI工具生成擦边内容，这些现象在越来越多地涌现。她指出，虽然目前大多数生成式人工智能应用没有未成年人模式，但是在交互式互动的情况下，可能比普通短视频、游戏等应用更容易定位出未成年人，在这种情况下，至少需要确保未成年人在使用AI过程中能够得到特殊保护。

出品：南都大数据研究院

采写：南都研究员 孔令旖

设计：张博

更多报道请看专题：AI新治向
保护AI世界里的孩子

本文作者

孔令旖

48W

南方都市报记者

张博

5979W

南方都市报编辑