继算法推荐之后，深度合成技术也将迎来单独规范。1月28日，国家互联网信息办公室发布《互联网信息服务深度合成管理规定（征求意见稿）》（以下简称“征求意见稿”）并公开征求意见。

所谓深度合成技术，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括语音合成、换脸、虚拟现实等场景。近年来，深度合成技术被频繁被用于色情内容制作和诈骗。

征求意见稿提出，深度合成服务提供者深度合成服务时，应当使用显著方式对深度合成信息内容进行标识。若提供人脸、人声等生物识别信息的显著编辑功能，还需取得被编辑的个人信息主体的单独同意。

南都·AI前哨站梳理发现，在征求意见稿出台之前，民法典就在肖像权相关条款中对深度合成做出规制：任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。此后，《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》也提出相关要求。

北京科技大学文法学院副教授张凌寒认为，征求意见稿的出台是建立算法分级分类管理体系的重要举措。民法典是从保护公民肖像权、名誉权等民事权利的角度规定，《互联网信息服务算法推荐管理规定》则为五类（包括生成合成类）算法设立了一般性义务规则，而征求意见稿对高风险的深度合成算法施加了更为严格的监管措施，进一步落实和细化《关于加强互联网信息服务算法综合治理的指导意见》中算法分级分类的相关制度。

值得注意的是，《互联网信息服务算法推荐管理规定》提出，发现未作显著标识的算法生成合成信息的，应当作出显著标识后，方可继续传输。《网络音视频信息服务管理规定》也要求，网络音视频信息服务提供者和网络音视频信息服务使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识。

事实上，在此次的征求意见稿中，深度合成信息内容标识管理制度也是重要内容之一，并进一步具象到文本、声音、图像、视频等场景中，要求深度合成服务提供者使用有效技术措施在深度合成的信息内容中添加可被自身识别、追溯，且不影响用户使用的标识，且对于合成人声、仿声、人脸替换等深度合成内容使用显著方式进行标识，向社会公众有效提示信息内容的合成情况。若未显著标识，应当立即停止传输该信息。

不同的标识方式和标准，要求深度合成服务提供者构建一套算法安全体系，其中需要一整套显示标识的制作、鉴别、巡查和过滤方案。张凌寒指出，企业自身需自定协议标准和标识的实现方式，对资深数据进行识别，这一标识方案将被监管部门检测和评估。

此外，征求意见稿遵循了个人信息处理中的知情同意原则。第十二条明确，深度合成服务提供者提供人脸、人声等生物识别信息的显著编辑功能的，应当提示深度合成服务使用者依法告知并取得被编辑的个人信息主体的单独同意。

也就是说，《规定》如果实施，“AI换脸”视频不论用作何种用途，都需要告知用户，其内容为技术合成而非真实，并取得被编辑的个人信息主体的单独同意，否则将构成违规。

国家网信办介绍制定征求意见稿的必要性时表示，在已出台相关部门规章和规范性文件的监管要求基础上，需要进一步厘清、细化深度合成技术的应用场景，明确深度合成服务提供者和使用者的信息安全义务，出台具有系统性、针对性和可操作性的专门管理规定。

国家网信办指出，深度合成在服务用户需求、改进用户体验的同时，也被一些不法分子用于制作、复制、发布、传播违法信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等违法行为。

公开资料显示，在人脸生成、语音合成等领域，已经出现了不少诈骗案例。

据公安部网安局公布的案例，2020年12月，某公司财务小王接到领导电话，要求立刻给供应商转款2万元。由于老板的口音十分逼真，小王信以为真，在1小时内转款完成，后发现被骗。在净网2021专项行动中，南通警方曾破获了一起AI人脸识别诈骗案件：犯罪团伙利用AI软件伪造人脸识别认证来解绑用户账号，再以低廉的价格将账号卖给下游的诈骗份子，从而非法牟利。

随着“换脸”技术的普及，明星也成为重灾区。2020年，一些人在短视频软件上利用图像和声音合成技术，“化身”演员靳东，让不少中老年女性沉迷其中从而受骗。同年，据外媒报道，女演员艾玛·沃特森的30秒换脸视频在色情网站上播放超过2300万次，还有多位女明星的换脸视频被观看了数百万次，如泰勒·斯威夫特、娜塔莉·波特曼、比利·艾利什等。

针对以上乱象，征求意见稿明确深度合成服务提供者主体责任。如深度合成服务提供者应当依法对深度合成服务使用者进行真实身份信息认证，否则不得为其提供信息发布服务；采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核，停止传输未被标识内容，建立健全用于识别违法和不良深度合成信息内容的特征库等。

在法律责任方面，征求意见稿提出，违反规定的，由网信部门给予警告，责令限期改正，改正前应当暂停相关业务；拒不改正或者情节严重的，责令暂停信息更新，并处一万元以上十万元以下罚款。如果给他人造成损害或构成犯罪，还将依法承担民事责任或追究刑事责任。

北京师范大学互联网发展研究院院长助理、博导、中国互联网协会研究中心副主任吴沈括认为，征求意见稿的出台对于利用深度伪造的技术实施色情、暴恐、虚假信息等犯罪治理，有非常重要的生态性意义。“（征求意见稿）能够提高溯源的水平、判定犯罪主体的准确度，并且提高各方在治理、处置深度合成滥用情形中的应对能力。也能提高对已发生的违法犯罪活动的处置效率和水平。”

采写：南都记者李娅宁 见习记者胡耕硕

编辑：蒋琳