追星竟追到了AI生成的明星?近日,有网友在社交平台上发文控诉被AI假冒真人骗了,其追捧的一位新人短剧演员被曝其实是AI生成,并非真人,“明明不是真人演员,就不要用AI来糊弄人!”
南都记者调查发现,AI生成演员已广泛活跃于短视频平台,追星追到了AI明星,问题在于相关账号未按规进行“AI生成”标识,导致粉丝在浑然不觉中“为假人付出真情”。专家就此发出警示:在AI技术足以“以假乱真”的当下,那些刻意隐藏AI身份、未作明显标识的数字人,背后往往潜藏着情感欺诈、诱导消费乃至金融诈骗的风险。
精心包装“数字假人”
粉丝应援错付真心
“粉丝连应援口号都想到了,为她准备了这么多,结果是骗人的!”发文控诉的网友表示,自己最近喜欢上一个叫刘馨妍的16岁新人短剧演员,加了她的粉丝群,连自己的社交平台账号也改成了带粉丝名的昵称,但最近这位演员却被曝是AI。
南都记者检索发现,早在今年5月份,就陆续有用户在不同平台宣传安利该名叫刘馨妍的演员,给出的档案资料显示其年仅16岁,参演了多部短剧,人设标签为“超宠粉”“隐藏学霸”,甚至连粉丝名、应援色、应援口号也一应俱全。她们发布的多张“刘馨妍”宣传照中,女生外形温婉可人、面部神情娇俏,很夺人眼球,肉眼看上去与真人无异,评论区中不少人夸赞“好漂亮”“是美丽的小姐姐”。直到被曝出是AI 后,这些粉丝才陆续醒悟“被骗了”,甚至连所谓的参演短剧也是假的。
*网友发布的“刘馨妍”相关帖子。
目前,“刘馨妍”的小红书账号已改名,主页内容已全部隐藏清空。“没想到现在追个星不仅要担心塌房问题,还要担心是不是真人。”不少围观网友表示整件事既荒诞又诡异,更有人直指问题核心:用AI技术打造的演员必须要做好标识,如果“刘馨妍”的账号未有AI标识,就是违规了。
7月21日,南都记者在某社交平台上检索演员“刘馨妍”的相关信息,检索结果显示多篇带有“刘馨妍”图片的帖文已被发布者主动加上“含AI生成内容”的声明,但也有个别帖文依旧无任何AI标识,平台也未能准确识别并作提醒。
有AI演员吸粉近5万
主动标识身份收获信任
事实上,随着生成式AI在影视制作中的应用日益广泛,AI演员早已是寻常事。例如,今年3月,国内一家传媒公司官宣签约了两名AI数字艺人,不仅为其开通实名制社交媒体账号,还宣称由这两位AI数字艺人参演的AI剧集也即将上线。再如,英国伦敦AI影视公司Particle 6宣布启动长片电影《错位(Misaligned)》制作,由该公司打造的AI“演员”蒂莉·诺伍德担任主角。
*短视频平台上部分AI演员发布的相关视频内容。
南都记者检索发现,还有不少AI演员活跃在各大短视频和社交平台,如真人名明星一般发日常vlog、片场日记等视频内容进行“营业”互动。以“演员的一天”“女演员vlog”等关键词在某短视频平台上检索,瞬间出现大量AI演员发布的日常vlog,部分视频画面十分自然逼真,让不少网友直呼:几乎难以分辨是真人还是AI。例如,一名叫“苏晚晚”的AI演员粉丝量将近5万,其主页发布的11个视频作品均为AI生成的片场vlog,其中一则记录片场花絮记录了她从起床、吃早餐、读剧本,到进组、拍戏,再到下班、聚会的行程,视频点赞量多达22万、转发量也超过20万,评论区中不少网友表示“活人感很强”“太真实了”“看了好久才反应过来是AI”。
值得一提的是,这些AI演员的账号主页均清晰标注了自己“AI人”的身份,发布的vlog不仅带上了“AI演员”的标签,而且还主动声明“内容由AI生成”。
无AI标识即“隐雷”
平台审核机制亟待升级
同为AI演员,为何“刘馨妍”引众怒,“苏晚晚”等却能收获大批流量?归根结底在于是否有明显的AI标识,主动提醒用户内容由AI生成。有专家指出,现在的AI技术进步得很快,生成的图片与真人照片相差无几,未明显标识的“AI数字人”或合成内容,会让受众误以为是真人或真实事件,从而更容易引起人们的兴趣和好奇心,吸引更多的流量和关注,进而带来更多的商业利益。而这背后,往往可能隐藏着欺诈等风险隐患。
南都记者梳理发现,不法分子利用AI生成的数字人实施诈骗等违法犯罪行为的案例并不少见。例如,曾有媒体报道过“AI数字人”围猎老年人的情感陪伴陷阱,称大量“AI数字人视频”在各大短视频平台传播,不少中老年女性误信屏幕那头有位能朝夕相伴、温柔关怀自己的成熟男性,主动为其消费,购买各类商品或虚拟产品。还有诈骗分子利用AI技术精心编织投资骗局:直播中看起来专业、可靠、甚至熟悉的“金融专家”,很有可能是AI技术生成虚拟人。
去年9月起施行的《人工智能生成合成内容标识办法》明确规定,用户发布人工智能生成合成内容时,应当主动声明,不得故意“以假乱真”。同时,平台需要核验内容标识或用户声明,对属于生成合成内容要明确提醒公众。
重庆大学网络与大数据研究院副院长罗勇在接受媒体采访时也特别提到,对于利用AI技术生成的短视频,网络用户特别是未成年人和老年人由于缺乏必要的鉴别能力,往往会信以为真,由此可能产生负面网络舆情,甚至对网络安全造成负面影响。他提出,以网络社交平台为代表的网络服务提供者在AI生成内容的应用场景中,应当进一步完善用户使用AI协议规定,并强化对AI生成内容的审核。
出品:南都大数据研究院
采写:南都研究员 罗韵