“重大新闻!路边停车费6月1日起取消”,假资讯!霸总创业三年成功买下8000平办公楼?假人设!知名艺人在视频中推荐“三无”化妆品?AIGC造假!6月12日,在北京举办的小红书“打击虚假”治理开放日现场,一批虚假不实笔记及账号人设被作为典型案例曝光,彰显了小红书“史上最严黑灰产治理行动”的决心。
开放日上,小红书相关治理业务的负责人详细介绍了该社群打击批量造假的策略和手段,并公开了2025年上半年社区虚假内容治理的成果。如通过建设虚假内容全链路治理体系,共处置虚假笔记320万篇,处置虚假人设账号1万个,处置虚假低质AIGC笔记60万篇;通过持续建设“同质化识别”能力,全面提升处置手段,升级机器对抗,共封禁批量造假黑灰产账号超1000万个。
“今年上半年,虚假信息的平均审核时长同比降低25%。” 南都记者关注到,就在11日的中国网络文明大会上,小红书总编辑许磊在介绍平台打假成果时还特别提到,后续将持续优化举报机制,预计年底将持续减少10%举报审核用时,吸引更多用户参与到虚假内容的共治中。
交流现场,中国人民大学新闻学院传播学副教授董晨宇表示,应对当前互联网虚假内容快速增长与传播,要避免事后处置陷入“打地鼠”的重复作战,源头还应落在提升公众的媒介素养,构建全社会共治的良性互动。
为什么“假”在小红书社区不受欢迎?
“作为生活类内容聚集的社区,更多用户不只是想看热闹、娱乐的内容,图个乐子,他们还希望从创作者和别的用户的真实分享中,获得收获。” 在现场创作者对谈环节,生活vlog创作者@“一只记录西”从自身在小红书的创作经验出发,谈到真实的内容、真诚的表达,天然更具有流量优势。“小红书的用户不仅仅是看内容,大家喜欢更深度的交互,在互动中,真实内容和编造内容的差距也会不断拉大,虚假人设在小红书很不受欢迎。”
创作者@“一只记录西”与董晨宇现场交流内容创作心得
“真诚才是必杀技,你的真诚输出才能收获真实声音的回馈,才能收获长久的创作信用和作品生命力。”作为小红书广受欢迎的网红创作者之一,董晨宇对社区的“真诚”DNA亦有同感,“能看到,相比精致完美的人设与故事,社群用户其实更喜欢有缺陷但接地气的坦诚表达,就我们常说的,要有‘活人感’。”
“真诚分享是小红书的底色,而虚假却是社区的癌细胞,决不能放任其发展危害健康生态。”小红书虚假内容治理负责人蒂法介绍,作为 UGC 社区,小红书公约明确提到的“真诚分享”,因此也将持续主动治理虚假不实,严厉打击批量造假黑灰产账号,倡导真实。
小红书虚假内容治理负责人蒂法介绍治理策略
在开放日现场,记者观察到,当前,虚假不实内容、虚假人设和AIGC造假是小红书社区打击“虚假”的三个重点。
据蒂法介绍,在虚假不实内容治理方面,小红书建构了“前置拦截、事中追踪、分析回扫”的“前中后”全链路治理体系;上线了内容信息量模型,笔记摘要提取模型,AIGC谣言诊断模型等15个识别大模型,并建立了真实信源库和谣言库,实现了对虚假内容的实时拦截和批量回扫,半年共处置虚假笔记320万篇。在虚假人设治理方面,小红书设置了内容前置审核制度,采用了账号关系挖掘分析策略,并上线多个图像及视频识别模型,通过综合笔记内容和账号信息来精准打击虚假人设,半年共处置虚假人设账号 1万个。
而当AI爆炸遇上平台治理,虚假低质AIGC内容也成为清朗网络空间的重点整顿对象。“我们半年内处置的虚假低质AI笔记超60万篇。”蒂法介绍,小红书针对AIGC内容做高曝流限制和主动标识,减少虚假低质AI内容的曝光,提升透明度。同时加大对AIGC识别模型的研发投入,进一步提高识别精准度,并特别针对AI造假账号细化了分级处罚机制。
活动现场,董晨宇从传播学角度分享虚假信息的传播规律与应对策略时,还特别提到了一个更深层面的平台治理难题,即如何鉴别游走于真假边缘的“问题性信息”。“虚假信息无法完全反映平台虚假问题的复杂性。”董晨宇在现场演讲中谈到,“问题性信息”的外延和内涵比虚假信息更为复杂,也更加泛滥。他分析称,这其中既有因“利己”或“过失”因素带来的舆论操纵、混淆等情形,也有因信息失序和情绪主导阻碍了群体对话的因素。而其中,黑灰产账号批量造假注册人机号,虚构人设IP引流乃至引战,更加剧了“问题性信息”的泛滥传播。
封号1000万个
“批量造假”黑灰产账号迎来最严治理
虚假内容之外,黑灰产账号批量造假也是小红书平台治理中的一项重头戏。
“我们开展了小红书史上最严黑灰产账号治理行动,对黑灰产坚决打击,绝不让步半分。”开放日现场,小红书黑灰产账号治理负责人必行的表态掷地有声。
小红书黑灰产账号治理负责人必行分享黑灰产账号的特征
黑灰产对社区生态的伤害主要在哪些方面?治理的难点何在?
据必行介绍,黑灰产组织批量制造黑灰产账号,通过虚假、重复、低质内容骗取用户流量;养号涨粉后,又会发布虚假、恶意营销内容,或者销售灰色商品,提供灰色服务,甚至从事违法活动,从而实现不当牟利 。“从建号到养号再到牟利,黑灰产账号进行全链路批量造假,对社区生态和秩序的危害十分巨大。”
南都记者从现场交流的黑灰产案例中获悉,当前小红书社区的部分黑灰产账号,常以“学姐”“学长”的虚假人设,发布套路、虚假内容来达到引流营销目的。其中一个案例显示,千余个冒充留学生的人设账号,利用云手机,以有内幕、黑料、避雷、信息差等噱头发布笔记,获得客户资料并引流到微信,再推荐给合作的下游机构,甚至变相敲诈勒索教育领域的品牌商家,如不合作就发“黑料”。
“有黑灰产账号在小红书发笔记,标题就是‘挂三家骗子公司’‘骗子公司虚假宣传真厉害’;还有就是列举几家比较头部的公司,横向测评对比。”一家知名考试教育机构人士,现场和记者交流分享其遭遇黑灰产的案例时提到,在这类笔记里面,既没有具体案例来印证骗子公司,也并无真实细节对比各家优劣,“话术绕来绕去就是引流用户”。
“现在很多黑灰产不仅针对头部企业,而是裹挟整个行业机构来和他合作。作为品牌,很欣慰能看到社区对黑灰产账号进行严肃治理,维护公平竞争额商业秩序。”该机构人士表示。
当前黑灰产治理面临数量巨大、隐蔽深、变体快和对抗强等挑战,“比如都是虚拟号码批量注册、使用群控系统;基本都一机一号,不仅有独立IP地址,还会组织普通人帮忙发布信息,操作已然精细。”必行介绍,在这一现状下,小红书治理团队主要从识别能力和处置能力两方面重点做功。
在识别能力方面:上线50多个模型,建立了以“同质化识别”为核心的风控体系,将对黑灰产的识别召回率提升了72%;在处置能力方面:不断优化处置策略,极大提升黑灰产作恶成本;全面升级机器对抗,用机器判罚大规模代替人工判罚,大幅提高对黑灰产账号的处置量级及时效性。
现场,一组小红书黑灰产治理成果数据揭晓,“最严治理”实至名归:2024年11月中,小红书黑灰产账号治理专项开启;专项开展1个月,封禁126万黑灰产账号;开展3个月,封禁320万黑灰产账号;开展7个月,封禁超1000万黑灰产账号。“我们也加强与政府和市监部门的通报合作,目前有7起案件在侦办中,后续侦查有涉及犯罪行为的还将进一步追求刑事责任。”必行说。
UGC互联网社区治理新范式:共享共治
应对虚假,内容平台的主动治理非常重要,但用户参与共治才能放大打假的力量。小红书作为UGC社区,用户创作内容,同时用户也成为打假的重要共治力量。据悉,仅2025年上半年,小红书虚假内容的用户举报量同比就增长了40%。开放日上,小红书审核培训师给现场观众上了一节“打假”志愿者培训课,展示了近10个不同类型的造假案例,引发了观众的鉴假热潮。
“这个加州山火的AI假图,画面中的海平面风平浪静,和真实山火现场受狂风影响的事实不符”“这个二胎孕妈找搭子的人设账号,上个月还是男宝,下个月就营销女宝了,离了个大谱..."打假现场,大家踊跃发言,一起开心“找茬”。 在场多位观众表示,日后也会将学到的鉴假方法应用到对虚假内容的鉴别和举报中。
治理开放日上,现场观众热情参与鉴假互动。
小红书副总裁许磊在前一天的中国网络文明大会上也介绍了小红书较为完善的虚假信息举报制度。小红书开通监管网站、APP客户端举报、举报热线和举报邮箱四种途径。在常态化转发重要辟谣稿件的基础上,搭建起辟谣专区,为用户提供一站式辟谣信息服务;官方账号“薯管家”每周定期发布辟谣笔记。
据悉,下半年,小红书还将进一步简化用户举报流程,实现一个页面、一次提交即完成举报,让更多用户低成本、无门槛地参与到虚假信息的共治中来。更多措施还包括:提供给部分用户内容标注表态功能,引入用户共治,群策群力;建立热榜辟谣卡,让用户辟谣的内容登上热榜,教育更多用户等。
许磊表示,小红书是“普通人创作内容”的社区,“分享真实的内容”和“真诚分享”不仅是平台用户自发形成的内容创作准则,也是小红书的社区价值观。打击虚假固然重要,让流量流向真实同样重要。小红书正在构建的真诚分体系,初心就是把流量给到真诚的人和商家。据许磊介绍,小红书的“真诚分”账号体系,从分享动机、内容质量多方面判断账号是否真诚,从而对真诚的创作者给予流量倾斜,对虚假低质的杂音噪声进行压制。
“虚假和打假之间注定一直是一种动态制衡。这场持久战不仅需要平台端和政策端的持续发力,更需要全社会立体式的参与和互动。”董晨宇直言。
采写:南都记者洪子翾 发自北京
编辑:程姝雯