小红书举办打击虚假治理开放日,虚假AIGC内容成治理重点

南方都市报APP • 政商数据
原创2025-06-12 21:17

6月12日,小红书在北京举办“打击虚假”治理开放日。开放日上,公布了2025年上半年社区虚假内容治理成果:通过建设虚假内容全链路治理体系,共处置虚假笔记320万篇,处置虚假人设账号1万个,处置虚假低质AIGC笔记60万篇;通过持续建设“同质化识别”能力,全面提升处置手段,升级机器对抗,共封禁批量造假黑灰产账号超1000万个。

在持续主动治理之外,小红书也积极鼓励用户参与共治。在6月11日的中国网络文明大会上,小红书总编辑许磊介绍,小红书持续优化举报机制,今年上半年,虚假信息的平均审核时长同比降低25%;接下来,还将通过改进产品等措施,吸引更多用户参与到虚假内容的共治中。

参与开放日的人民大学新闻学院传播学副教授董晨宇表示,应对当前互联网虚假内容快速增长与传播需要“立体式”的行动,其中不仅包括平台的努力,更包括全社会的共同参与。“虚假和打假之间注定一直是一种动态制衡。在这场持久战中,如果真实想要稳居上风,公众媒介素养的提升是关键。”

图片

高效打假、精准鉴假:320万虚假笔记被处置

“钢铁保姆”机器人引发市民抢购?假资讯!霸总创业三年成功买下8000平办公楼?假人设!知名艺人在视频中推荐“三无”化妆品?AIGC造假!

小红书虚假内容治理负责人蒂法介绍,虚假不实内容、虚假人设和AIGC造假是当前社区打击“虚假”的三个重点。

图片

小红书虚假内容治理负责人蒂法介绍治理策略。

在虚假不实内容治理方面,小红书建构了“前置拦截、事中追踪、分析回扫”的“前中后”全链路治理体系;上线了内容信息量模型,笔记摘要提取模型,AIGC谣言诊断模型等15个识别大模型,并建立了真实信源库和谣言库,实现了对虚假内容的实时拦截和批量回扫,半年共处置虚假笔记320万篇。 

在虚假人设治理方面,小红书设置了内容前置审核制度,采用了账号关系挖掘分析策略,并上线多个图像及视频识别模型,通过综合笔记内容和账号信息进行分析判断,对虚假人设进行精准打击,半年共处置虚假人设账号1万个。

在AIGC技术爆发式发展的当下,虚假低质AIGC内容也成为治理的重中之重。小红书不断加大对AIGC识别模型的研发投入,进一步提高识别精准度,减少虚假低质AIGC内容的曝光。同时,平台对AIGC生成内容做主动标识工作,提升信息透明度。半年共处置治理虚假低质AIGC笔记60万篇。

“虚假是社区的癌细胞,决不能放任其发展危害健康生态。”蒂法表示,小红书将打击“虚假” 作为长期治理重点,持续投入人力和技术力量,不断提升治理效果。

 

封号1000万,“批量造假”黑灰产账号迎来最严治理

开放日上,小红书黑灰产账号治理负责人必行用一组治理成果数据展示了社区对黑灰产账号坚定打击的态度:2024年11月中,小红书黑灰产账号治理专项开启;专项开展1个月,封禁126万黑灰产账号;开展3个月,封禁320万黑灰产账号;开展7个月,封禁超1000万黑灰产账号。

必行介绍,黑灰产组织批量制造黑灰产账号,通过虚假、重复、低质内容骗取用户流量;养号涨粉后,又会发布虚假、恶意营销内容,或者销售灰色商品,提供灰色服务,甚至从事违法活动,从而实现不当牟利。从建号到养号再到牟利,黑灰产账号进行全链路批量造假,对社区生态和秩序的危害十分巨大。

“因此我们开展了小红书史上最严黑灰产账号治理行动,对黑灰产坚决打击,绝不让步半分。”必行说。

图片

小红书黑灰产账号治理负责人必行分享黑灰产账号的特征。

为了应对黑灰产账号的数量巨大、隐蔽深、变体快和对抗强等挑战,治理团队从识别能力和处置能力两方面重点做功。

在识别能力方面:上线50多个模型,建立了以“同质化识别”为核心的风控体系,将对黑灰产的识别召回率提升了72%。在处置能力方面,不断优化处置策略,极大提升黑灰产作恶成本;全面升级机器对抗,用机器判罚大规模代替人工判罚,大幅提高对黑灰产账号的处置量级及时效性。

在线上治理的同时,小红书案件调查团队还向多地警方和市场监管部门积极提供线索,对黑灰产团伙进行线下打击。目前有7起案件在侦办中,后续警方和市场监管部门将根据调查结果采取各种处罚措施,涉及犯罪行为的还将进一步追究刑事责任。

 

持续优化举报机制,鼓励用户参与共治

开放日上,小红书审核培训师给现场观众上了一节“打假”志愿者培训课,展示了近10个不同类型的造假案例,引发了观众的鉴假热潮。大家踊跃发言,一起“来找茬”。 在场多位观众表示,会将学到的鉴假方法应用到对虚假内容的鉴别和举报中。

图片

治理开放日上,现场观众热情参与鉴假互动。

小红书副总裁许磊在前一天的中国网络文明大会上也介绍了小红书较为完善的虚假信息举报制度。小红书开通监管网站、APP客户端举报、举报热线和举报邮箱四种途径。在常态化转发重要辟谣稿件的基础上,搭建起辟谣专区,为用户提供一站式辟谣信息服务;官方账号“薯管家”每周定期发布辟谣笔记。

小红书还持续优化举报机制,鼓励用户参与共治。许磊介绍,2025年上半年,小红书虚假信息的平均审核时长同比降低25%。下半年,小红书还将进一步简化用户举报流程,实现一个页面、一次提交即完成举报,让更多用户低成本、无门槛地参与到虚假信息的共治中来。

许磊表示,小红书是“普通人创作内容”的社区,“分享真实的内容”和“真诚分享”不仅是平台用户自发形成的内容创作准则,也是小红书的社区价值观。因此,打击虚假,提倡真实是小红书的必然选择。小红书还设立了“真诚分享”账号体系,从分享动机、内容质量多方面判断账号是否真诚,从而对真诚的创作者给予流量倾斜,对虚假低质的杂音噪声进行压制。

图片

人民大学传播学教授董晨宇分享应对虚假信息的传播规律和应对策略。

人民大学传播学教授董晨宇从传播学角度分享了虚假信息的传播规律与应对策略。董晨宇说:“应对当前互联网虚假内容快速增长与传播,需要各平台积极打击,全社会共同参与。虚假内容无法完全被消灭,但可以通过科普、举报、公众传播学素养的提升,将虚假控制在较低的水平。” 


采写:南都记者 徐冰倩

 

 

编辑:甄芹

南都新闻,未经授权不得转载。授权联系方式
banquan@nandu.cc. 020-87006626