AI生成合成内容日益逼真,也催生出谣言造假、身份冒充、不良内容传播等风险。3月14日,国家网信办等四部门联合发布《人工智能生成合成内容标识办法》(简称“《办法》”),以“双重标识+动态监管”方式,明确生成合成服务提供者、内容传播平台、用户的义务,并将于2025年9月1日起施行。
在此背景下,3月24日至28日,南方都市报、南都大数据研究院圈定国内25个社交、资讯、视频等内容传播平台,以及对75个具有AI生成文本、图片、视频等功能的应用,共计100款APP,从协议规则、标识实施等方面进行测评,观测其对AI生成合成内容的管理现状。
继上期测评25个内容传播平台后,本期的测评样本为75个提供AI生成服务的APP。南都大数据研究院发现,已有近半数应用在AI图片和视频上“打标”,但在AI生成文本与音频类领域的标识实践相对滞后;同时,AI写真、AI陪伴、数字人等虚拟场景应用标识欠缺;此外,还存在部分应用下载AI生合成图片后标识消失,对用户选择“去标识”责任界定不明等。总体来看,头部AI应用在AI生合成内容标识方面正逐步走向合规,而不少中小型AI应用尚还需解决标识“有无”问题。
测评75款提供生成式AI服务App
半数尚未“打标”
标识并非新生事物,《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等早有提及。《办法》的出台进一步细化了标识实施规则,明确人工智能生成合成内容需添加显式标识与隐式标识两种标识。其中显式标识是指在生成合成内容或交互场景界面中添加的,以文字、声音、图形等方式呈现并可被用户明显感知到的标识,通过明确“哪些内容是生成的”,承担提醒用户的作用。
为了解各类生成式AI应用目前的显式标识情况,南都大数据研究院测评了包含AI助手、AI绘图、AI配音、AI陪伴等类型,共计75个提供生成式AI服务的App。分别从用户协议对标识方法、样式的说明、对用户的提醒、生成内容上的标识实施情况及内容下载后的标识保留情况四个方面进行综合观测(满分10分)。结果发现,48%的应用,包括LiblibAl旗下的AI图像创作软件星流、AI相机妙鸭相机、学而思AI问答助手随时问等,目前尚未对AI生合成内容进行标识,评分为0;24%的应用,例如智谱清言、夸克、豆包、文小言等评分超过5分,已在进行标识工作;腾讯元宝、讯飞星火、可灵AI、海螺AI四个APP获得8分,排名前列,当前标识情况已接近《办法》要求,尚需在部分地方加以改进,比如存在AI生成文本和音频内容无标识,用户协议中标识方法、样式说明不规范,会员去标识功能不规范等情况。
AI文本与音频标识实践相对滞后
DeepSeek标识时有时无
标识实施情况因内容类型而异。南都大数据研究院本次测评中发现,75个提供生成式AI服务的App里,近半数应用已在AI图片和视频领域实现“打标”,标识多以右下角水印形式体现。如综合类AI助手文小言、通义、讯飞星火、Kimi、夸克,或者专注于AI绘画生图的应用,如美图旗下的WHEE等,均在AI生成图片或视频右下角添加了明显的标识水印。 但同时,也有22款应用不会在生成的图片或视频上添加任何标识,包括星流、必剪、图趣、写作鱼等。此外,即梦AI、豆包的标识仅在下载图片后显示,界面浏览时不显示。
以上分别为使用WHEE、即梦AI、文小言和写作鱼生成的AI图片。
在文本与音频领域,标识实践则相对滞后。具有文本生成功能的39个样本应用中,仅有不到三成的应用在交互界面添加了“AI生成”相关标识。如文小言、腾讯元宝、豆包、Kimi、智谱清言等知名大语言模型,均未在文本生成页面添加提示标识。还有如快问AI、问道AI、AI写作鹅、随时问-学而思AI学习助手等提供AI问答与知识服务类的APP,也未在问答使用界面或文字生成内容上添加任何AI生成相关标识。
同时,还有应用存在标识不规范的情况,如天工AI虽然在天工大模型的交互界面添加了“内容由ai生成,不能保证真实”的相关提醒,但该提醒位于界面底部,字体小且颜色为浅灰色,不仔细看难以察觉,无法起到有效的标识提醒作用。DeepSeek的标识则存在不稳定性,在某些对话下方会出现明显的黄色标识“本回答由AI生成,内容仅供参考,请仔细甄别”,但在有些对话中则不会出现该提示。对此,DeepSeek并未在用户协议中阐明触发规则,这种“时有时无”的标识机制可能影响用户认知。
DeepSeek的标识提醒有时会出现在回答下方,有时不会。
在音频生成功能方面,讯飞星火、音鹿、音控、唱醒等13款具有音频生成功能的应用,均没有在交互界面,或者生成的音频中添加显式标识。但也有部分软件已做出了一些标识尝试,如豆包、唱醒等应用,如果将AI音乐以视频形式下载,会在视频画面中显示“AI生成”的标识。魔音工坊不会强制性添加标识,而是提供用户自主添加标识选项,只有当用户选择添加标识时,音频结尾处会出现“本音频由魔音工坊AI配音”的声音提示。
部分应用下载AI图片后标识消失
会员“去水印”责任模糊
测评发现,多数会添加显式标识的AI生成图片和视频,在下载后也会保留该标识。但也有例外,如一款名为AI Mate pro的应用,接入了豆包大模型和浅风多模态内容生成合成算法,支持AI生成文本、图片、视频、数字人等多种类功能。南都记者本次体验图片与视频生成功能时发现,在生成界面图片和视频上有“AI生成”的标识提示,但下载保存后,该水印标识却消失不见。对此现象,该应用《用户协议》中未作任何说明。而对于复制AI生成文本内容,目前尚未有平台做出添加标识的相关尝试。这均与《办法》对生成合成内容下载、复制、导出时确保文件中含有满足要求的显式标识这一合规要求尚有一定距离。
除去直接生图的应用场景外,还有如Canva可画等设计类软件,提供用AI生成图片素材的功能。南都记者实测发现,该功能生成的图片素材无法直接下载,只能插入设计稿中才可以保存。这些AI生成的图片素材上没有添加任何显式标识。记者通过将AI生成的“写实金毛犬”图片素材拉大,覆盖白色背景,便可顺利保存获得一张不添加任何标识的AI图片,生成的金毛犬细节逼真,肉眼难辨真伪。对此,该应用通过在AI生成图片下方用文字提示并建议用户,在生成的图片中添加显著标识。
此外,还有智谱清言、讯飞星火、星绘、脸猫、小影等7款App提供“会员去除”功能,即用户可以选择去除图片和视频上以水印形式存在的显式标识。对此种情形,《办法》第九条也有相应规定,为用户的去显式标识需求留有制度空间,但同时也要求服务提供者要通过用户协议明确用户的标识义务和使用责任,并依法留存提供对象信息等相关日志不少于六个月。该规定既给有需求的用户提供了选择,也为生成内容产生负向影响后,追溯来源和落实相关责任给出依据。但目前来看,7款App中仅有智谱清言在用户协议中明确了会员去除标识后,如没有履行显式标识义务而产生的使用责任将由用户自行承担,而其他App并未做相关说明。
AI写真、数字人等功能涉虚拟场景
不到半数添加标识
除去一般的文本生成、文生图、文生视频等功能外,部分APP如豆包、讯飞星火、抖度AI、妙鸭相机、必剪、度加剪辑等应用还提供AI试衣、AI写真或数字人等功能。还有如猫箱、星野等App可通过AI生成图片、语音、文字等,构建多模态AI角色提供虚拟人陪伴服务。
参与此次“人工智能生成合成内容标识标准”编制的专家告诉南都记者,AI陪伴、换装、虚拟人、写真等这类情形,都具备虚拟场景的元素。其指出,虚拟场景有两种形态,一种是虚拟现实,另外一种就包含现在部分大模型的新业态,比如生成3D模型,或者是一键生成场景。不过,本次测评发现,目前17款提供AI生成虚拟场景相关功能的应用中,有10款未在生合成内容上添加显式标识。与《办法》对虚拟场景添加显式标识的相关规定,也有距离。
同样是AI写真功能,豆包会在AI生成照片右下角打上“豆包AI”的水印标识。但妙鸭相机在上传照片制作分身后,可选择任意模板合成各类不同场景、不同服饰的写真照,无论是古装美人,还是都市白领,亦或是校园学生,甚至是逼真的动态LIVE写真,图片上均不会出现AI生成相关的标识提示。使用度加剪辑生成虚拟主播,视频画面左侧会出现明显标识提示“视频由AI数字人制作”,并且在下载后仍然留存该水印。同样具有该功能的万兴播爆APP,虽然在用户协议中提到会在生成的文字、图片、视频等信息中加入“生成内容属于AI 生成”的相关表述和标识,但实际使用中生成的AI数字人视频并未有任何标识提示。还有星野和猫箱两款APP均是通过AI生成虚拟人物实现情感陪伴、社交等目的,实测对比发现,星野在与虚拟角色聊天交互界面中央位置添加明确标识“内容由生成,使用时请遵守平台社区公约”。
AI陪伴类APP中,星野(右侧)添加有标识提醒。
标识方法、样式说明尚不规范
部分应用将“打标”义务转移至用户
对于标识的方法和样式等规范性内容,《办法》规定,应当在用户服务协议中明确说明。本次实测发现,75款应用中,有65款应用未作任何相关说明,存在提升空间。而腾讯元宝、讯飞星火、智谱清言、可灵AI、百小应、万兴播报等App已在用户协议中写明相关内容。
例如腾讯元宝App在用户协议中明确,会添加“包括存在于生成内容上肉眼可见的显式水印标识以及通过特定技术手段植入生成内容元文件的、人类无法直接感知、但可通过技术手段从内容中提取的隐式水印标识”。讯飞星火App则在用户协议中写明了显式标识的具体样式,“本服务将对基于用户输入内容而生成的内容添加水印标识‘AI生成’”。
还有一些应用协议相关内容尚不规范,如Mini Max仅在用户协议中提到“我们有权在输出内容中添加标识、水印”,但未明确具体标识实施方案;另有一些AI应用如AI写作,仅单方面要求用户“不得去除标识”,却未履行充分的告知义务。
《办法》还要求服务提供者需提醒用户阅读并理解相关的管理要求。实测发现,有57个应用目前并未以任何方式提示用户对外发布AI生成内容时要主动声明。其余App中,有部分如闪令等,将提示用户发布AI生成内容应当以显著方式予以标识写入冗长的用户协议条款中,难以起到较好的提示作用,但也有部分APP如WHEE等采用字体加粗等方式提醒用户阅读。对比而言,可灵AI App在用户提示部分做得更为规范,将“严禁利用可灵AI技术侵犯他人合法权益”和“保留‘可灵AI’创作内容的水印”两项条款前移至用户协议开头,并用加粗的方式提醒用户阅读。
此外,本次测评发现,Canva可画虽然未在用户服务协议中提及标识相关内容,但在使用过程中,如用户需使用AI相关功能,需单独勾选“我已阅读《魔力系列产品条款》”。该条款要求用户不能“误导他人AI产品生成的内容是人工生产的”,同时要求用户在AI产品的输出内容或设计上增加标识或提示,这意味着将标识义务完全转移至用户侧。对此,可画还给出了在设计中添加水印的详细步骤,但对于具体的标识样式,却未作出示范。
Canva可画《魔力系列产品条款》要求用户自行给AI内容添加标识
标识缺失易混淆用户认知
助长谣言传播、诈骗等危害
南都记者在实测中发现,当前AI已能生成毛发分明的动物图像、逼真自然景观及拟真人物形象,普通用户难以用肉眼辨识真假。还有数字人、AI写真、AI换装等涉及虚拟场景元素的功能,更是涉及人脸生成、人脸替换、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务,可能导致公众混淆或者误认。其中的数字人功能,可逼真复制普通人、明星或其他公众人物的形象,若没有显著标识,可能存在虚假宣传、诈骗等滥用风险。此前已不乏如伪造张宏文等名人直播带货,伪造马斯克视频进行诈骗等事件发生。还有不少应用提供会员去标识功能,却未在用户协议中做任何权责划分,一旦发生影响恶劣的虚假信息传播事件,可能造成平台与用户间的权责模糊,追责困难。
此外,由于大语言模型普遍存在幻觉问题,AI生成文字有可能编造不实信息。例如,在某美国乘客起诉美国某航空公司的案件中,代理律师引用了AI生成的六个案例,然而法官发现六个案例的判决结果、引用出处均为虚构。中国政法大学数据法治研究院教授张凌寒介绍,AI不仅会在事实信息上出现错误,甚至会对知识类信息进行虚构。当前AI生成文本功能下方普遍缺少提示标识,用户可能会对AI生成内容盲目信任,不去加以思考和辨别。
整体而言,部分头部企业在AI生成合成内容标识方面正在逐步走向合规,而不少中小型提供生成式AI服务的应用尚还需解决标识“有无”问题。对此,专家表示,需拉齐参与方的认识,将合规一层层传导下去。在大企业带动下,中小企业也会慢慢跟进完善。
出品:南都大数据研究院
监制:戎明昌 刘江涛
策划:王卫国 邹莹
统筹:凌慧珊
采写:陈袁 张雨亭 孔令旖 杨易鑫
设计:沈淑婷
更多报道请看专题:100款APP“AI标识”大摸底