被AI配音恶搞的雷军“怒了”！如何整治AI滥用危机？

近几日，短视频平台出现了大量的“雷军”配音的视频，这些视频内容锐评了堵车、假期、调休、游戏等一切热门话题，不仅言辞犀利，甚至还有一些不文明用语穿插其间，引发网络关注。

需要指出的是，这些视频中的声音并非出自雷军本人，而是AI配音。

对此事件，雷军本人在社交媒体平台则是回复了三个愤怒表情，表达自己的态度。

有网友在小米集团公关部总经理王化的微博评论区留言称，“把雷军AI语音骂人的事情先解决一下吧”并@小米法务部。对此，王化回复称，“已经转给他们。”

AI技术的进步，让图像和音视频的深度伪造技术变得越来越容易获取和使用。与雷军AI配音相关的事件，小米正在处理当中。对于此番雷军AI配音引发的热议，外界更关心的还是AI滥用可能导致的伦理和侵权问题。

▍涉事AI语音公司正处理雷军配音

当下，随着大模型技术的突飞猛进，AI合成内容已经变得更加容易。

西湖心辰CEO蓝振忠在接受《科创板日报》记者采访时分析表示，AI语音合成主要基于深度学习和神经网络模型实现。通过大量的声音样本训练，AI可以学习到特定人的声音特征，并生成相似的语音。目前，这些技术的门槛确实的确变得很低了，一些开源的软件和平台使得即使没有专业知识的普通用户也能进行声音克隆和合成。

根据《科创板日报》记者的观察，目前网上已经有很多开箱即用的TTS声音模型网站。

例如近期DAU飙升的AI语音平台“Reecho睿声”，该平台的“声音市场”，一些用户上传了多段雷军语音的音频示例，在此基础上，其余用户输入任意语句，即可制作对应的“雷军”AI配音。

而近期多数雷军的恶搞音频，是网友使用“Reecho睿声”平台制作生成。

前述“Reecho睿声”平台背后的公司主体是深圳市言域科技有限公司（言域科技），公司CEO谢伟铎透露，目前接到了小米公司的联系，对方了解到大部分内容是由“Reecho睿声”生成的。言域科技正配合小米予以处理，会告知用户进行下架或修改涉及雷军的配音。

谢伟铎坦言，“Reecho睿声”平台有些配音确实不太文明，但言域科技只是创作工具提供方，没有足够的力量控制事态的演变，“对此也感到比较遗憾”。

谢伟铎解释说，“Reecho睿声”平台只能遵照原样，将用户输入的文本转换为语音。虽然后台监测系统可以识别用户输入的脏话，但如果直接拦截，“误杀面太广了”。他表示，作为AI语音克隆工具，可能不太适合在脚本内容没有明显违法的情况下过多干预用户的创作。

“对于平台的‘声音市场’在线社区版块，公司会参照其他UGC平台的模式去管理，在必要时积极配合权利方诉求进行处理。”谢伟铎说。

▍如何整治AI滥用危机？

去年也有一批AI配音爆火出圈，以“AI孙燕姿”为代表的AI合成声音风靡一时，同时也有利用AI克隆出了“郭德纲用英语说相声”“霉霉讲中文”等的配音视频。

但与前一轮不同，本次AI合成的雷军声音，迅速引发广泛争议。这些AI合成的配音内容与雷军本人平日风格之间有巨大反差，部分内容已超出一般开玩笑玩梗的程度。当然，更为外界所关心的，还是AI滥用导致的伦理和侵权问题。

西湖心辰CEO蓝振忠蓝振忠表示，随着AI技术的进步，AI语音克隆，图像和视频的深度伪造技术变得越来越容易获取和使用，这导致了一些滥用现象，比如伪造名人语音进行诈骗等。这不仅对个人隐私构成威胁，也可能对社会秩序造成干扰。

在今年的外滩大会期间，全球Deepfake攻防挑战赛出题人、ZOLOZ技术总监姚伟斌在接受《科创板日报》等媒体采访时表示，AIGC的生成伪造，今年的攻击量比去年大概增加了10倍。整个风险其实是呈指数级上升的情况，不仅仅是在中国，在韩国，在菲律宾、印尼等等国家都有类似的情况发生。

不久前，直播头部公司三只羊的“录音门”事件中，内容拉低下限，涉及到多位高管和主播，但最后根据警方调查，音频内容不实，是AI伪造。

蓝振忠告诉《科创板日报》记者，为了防止AI语音滥用，业界采取了一些技术和策略，例如，多重身份验证措施，如生物识别和短信验证，以减少语音诈骗的损失。AI技术提供商也在开发检测工具，以识别和防止AI语音的滥用，这方面现在的准确度也比较高。研究机构如西湖大学也有相关的人员在研究类似的检测技术。

今年2月，OpenAI团队也推出“AI生成内容识别器”，旨在识别文本是由电脑自动生成还是人类撰写，其本质上是一个区别真实内容和AI生成内容的分类器。不过，OpenAI在博客中指出，此识别器对AI撰写内容的检出成功率仅为26%。

但是蓝振中也提到，实际上AI滥用产生的问题很难根除，目前只能是从宏观法律的角度，进行管理规范。

今年9月，网信办发布的《人工智能生成合成内容标识办法（征求意见稿）》提出，AI生成合成内容，应当添加显式标识和隐式标识，前者可被明显感知，后者添加在元数据中。

2023年6月，国家网信办等三个部门联合发布并实施的《互联网信息服务深度合成管理规定》，这是我国第一部专门规范AI生成内容的部门；2023年7月，国家网信办等七部门联合公布了《生成式人工智能服务管理暂行办法》，规定了生成式AI服务提供者应当承担网络信息内容生产者的责任，一定程度上给AI技术提供者划定了“红线”。

在国际方面，欧盟最新通过的《人工智能法案》（AI Act）围绕人工智能产品和服务的开发、市场投放及使用明确了一个统一的监管框架。

京师律师事务所律师彭英武对《科创板日报》记者表示，与发展一日千里的AI大模型技术相比，当前的法律管理规范还有进一步细化的空间。但目前通过法律法规规范、平台内容治理、产业界提供技术和工具等多方综合治理，AI滥用产生的风险有望会有所缓和。

本文源自：科创板日报

作者：张洋洋