三只羊录音门涉事AI平台回应质疑!专家称需重视技术滥用

南方都市报APP • 南都即时
原创2024-09-27 18:53

针对“三只羊录音门”事件,9月26日晚,合肥市公安局高新分局通报称,相关录音系嫌疑人用AI工具训练伪造。随后不少网友质疑AI可模仿情绪、方言的真实性。27日凌晨,涉事AI工具的研发公司发布声明,称“将进一步加强用户身份认证与音频生成的安全管控措施”,此举被指系“蹭流量打广告”。同日,该公司客服就相关质疑回应南都记者称,“一切以通报为准”。

南都记者关注到,AI合成亲人声音诈骗、刘德华公司打假AI语音合成、知名配音演员遭AI侵权等事件频出。业内人士分析称,“三只羊录音门”事件再次引起人们对于AI语音合成技术,所引起的技术管控以及道德和法律监管的思考。“研发公司需要采取积极措施来监管,以防止AI语音合成技术被用于非法目的。”

图片

被广泛传播的音视频截图。

AI工具研发公司发声引争议

近日,一段“三只羊集团创始人卢文庆本人”的录音和视频在网络引发热议。在录音中,“卢文庆”对三只羊处理客诉问题、竞争对手等均发表了相关看法,还提及“与三只羊女主播之间的不正当关系”。

针对该事件,26日晚,合肥市公安局高新分局发布警情通报称,所涉网传音视频系伪造。犯罪嫌疑人王某某(男,25岁)利用从互联网下载的音视频资料,杜撰卢某某酒后言论脚本,先使用AI工具训练生成假冒卢某某的音频,后用视频软件合成音视频,其中出现的女声也系AI工具训练生成。目前,王某某已被依法采取刑事强制措施,案件正在进一步侦办中。

然而,该份通报发出后,有不少网友质疑AI工具训练生成音频的真实性,称“模仿情绪、语气和方言口音需要大量本地训练,这一个AI工具能满足吗”“是不是只有一部分是AI合成的”。也有网友认为“音频音纹克隆难度小,可以实现”。

南都记者获悉,涉事AI工具来自深圳的企业——深圳市言域科技有限公司(下称“言域科技”),该公司成立于2023年12月13日,注册资本100万。

27日凌晨,言域科技通过官方账号发布声明称,近日公司收到合肥警方调取证据通知书,针对网传三只羊“卢某某录音门”事件所涉及的音频部分,经与合肥警方配合查实,确系嫌疑人王某某使用公司自主研发的Reecho睿声AI配音大模型平台,由卢某某此前直播片段约30秒录音进行克隆,并通过文本生成。

言域科技在该份声明中表示,公司坚决反对,并强烈谴责任何以不正当方式使用公司产品进行违法或不当行为的行径。目前,公司已经启动内部审核机制,进一步加强用户身份认证与音频生成的安全管控措施,确保技术合法合规应用。

南都记者注意到,该份声明发出后,被不少网友质疑是“蹭流量打广告”。27日上午,南都记者就此事联系言域科技,该公司客服人员未正面回应上述相关质疑,仅强调“一切以通报为准”。

专家称需重视技术滥用问题

“‘三只羊录音门’事件再次引起人们对于AI语音合成技术,所引起的技术管控以及道德和法律监管的思考。”中国科学院大学人工智能学院教授、亚太人工智能学会执行主席雷渠江在接受南都记者采访时说道。

随着AI语音合成技术的广泛应用,声音被收集、合成、制作、模仿甚至篡改的现象越来越普遍。南都记者关注到,AI合成亲人声音诈骗、刘德华公司打假AI语音合成、知名配音演员遭AI侵权等事件频出。

“合成声音可能会通过冒充真人或操纵情绪来传播错误信息。对公众人物的深度伪造可能会损害名誉或左右选举,语音钓鱼还可能会诱骗人们泄露隐私信息或金钱。”雷渠江说,“技术滥用,信任问题,声音权益问题等都值得思考。”

AI生成声音技术带来的隐患和威胁不容小觑,技术的开发者、提供商需要承担怎样的责任呢?

南都记者获悉,今年4月23日,北京互联网法院一审开庭宣判全国首例AI生成声音人格权侵权案,明确认定在具备可识别性的前提下,自然人声音权益的保护范围可及于AI生成声音。AI生成声音可识别性的认定应综合考虑行为人使用情况,并以相关领域普通听众能否识别作为判断标准。

值得注意的是,北京互联网法院指出,科技的发展会伴随产生一些法律问题,法官们希望通过这起案件引发大家的思考。对于涉及相关行业的企业来说,尤其要注意获得授权,否则容易引发系列诉讼。

除了要注意获得法律授权外,在雷渠江看来,AI工具的研发公司还需要采取积极措施来监管技术的使用,以防止AI语音合成技术被用于非法目的。如开发更先进的技术来识别和阻止恶意使用的语音合成,对使用AI语音合成技术生成的内容进行监控和审查,在合成语音内容中添加适当的标识,以便用户能够区分合成语音和真实语音,以及建立快速响应机制等。

采写:南都记者 冯奕然

编辑:张亚莉

更多报道请看专题:人工智能前沿话题

对这篇文章有想法?跟我聊聊吧
南都新闻,未经授权不得转载。授权联系方式:
banquan@nandu.cc,020-87006626。