用AI打败AI，黄浦江边上演DeepFake攻防挑战

摘要：AI能否100%识别伪造？

9月6日下午，外滩大会AI创新赛·全球Deepfake（深度伪造技术）攻防挑战赛的表演赛拉开序幕，一场生成式AI与Deepfake检测技术的正面交锋引来了不少观众的围观。

“一眼假”骗过AI

据介绍，表演赛现场分为图像赛道和音视频赛道，各赛道前三名的选手两两PK。由中国科学技术大学网络空间安全学院和蚂蚁数科天玑实验室联合出题，对选手模型进行终极考察。

图像赛道一开始，台下立即躁动起来。主持人毕导唤出了9张玛丽莲·梦露的照片，其中2张是AIGC伪造的。肉眼真假难辨的9张图，选手却需要用自己的参赛模型给出每张图片的伪造概率值，并对概率值最高的2张照片与正确答案进行比对。

外滩大会上演DeepFake攻防挑战。

AI能否100%识别伪造？赛事出题人之一、ZOLOZ技术总监姚伟斌介绍道，让AI百分百识别伪造图像十分困难。伪造技术在不断迭代更新，对抗需要不断地提升。在实际应用中，通常是将识别算法与其他检测手段结合使用，综合判断风险。

视频赛道环节，毕导的数字分身出演了多部经典电影名场面，选手同样要通过AI模型来辨别真伪。现场选手比分上，在一些难度一般的赛题上，表演赛的结果比分接近，伪造识别率几乎都在80%以上，但在一些高难度赛题上，模型结果差异悬殊。

“为什么肉眼觉得一眼假的画面，AI不能完全答对，而肉眼难以辨别的画面，AI反而一秒识别？”毕导向新加坡科技研究局前沿人工智能研究中心首席科学家周天異发出灵魂拷问。周天異解释说，人类在判断图像是否伪造会依赖直觉和逻辑，比如毕导的人脸换到了哈利·波特身上，人类一眼便知，AI却不了解背后的故事。但是AI不受情绪干扰，会一丝不苟完成人类的指令。因此，在工作效率和稳定性上，AI优于人类。

据悉，2024外滩大会首次增设“科技智能创新大赛”，包括 “AFAC2024 金融智能创新大赛”和“全球 Deepfake攻防挑战赛”两大分赛。经过3个月的激烈角逐，两大分赛的比赛结果正式出炉。昨天（6日），由上海市科委、上报集团指导，解放日报社联合中国计算机学会数字金融分会主办的2024科技智能创新大赛颁奖仪式暨趋势沙龙举行。其中，AFAC赛共有6组优秀参赛队伍脱颖而出，分别获得挑战组、企业组的一等奖和初创组的二等奖（初创组一等奖空缺）。Deepfake赛则由来自澳门大学赛队和个人参赛者唐永威分获图片和音视频两条赛道冠军。

“AI换脸”有了行业检测标准

近两年，随着人工智能技术的飞速发展，Deepfake也日益成熟。它在给社会带来便利的同时，也带来了前所未有的安全挑战。特别是金融行业，人脸识别技术作为身份鉴别的重要手段，其安全性直接关系到金融交易的安全与用户资金的安全。

AI尤其是生成式AI，安全对齐更为复杂，由于神经网络的可解释性很差，生成式AI其实是个“黑盒子”，输出内容无法预测，人类不知道AI的“脑回路”，因此不知道AI为何犯错、何时犯错。

同济大学计算机科学与技术系副主任、CCF数字金融分会秘书长卫志华坦言，大模型的信息安全、数据安全挑战远远比传统信息系统挑战要艰巨，“大模型出来以后，犯罪分子的作案成本又降低了，能力更强了，问题一定会出来。但是防御工具的能力，经常会等到问题出来才行，很容易陷入被动。”

“过去大家拿着钞票和钱包到处跑，现在一台手机就能搞定，犯罪也呈现出高智商化的倾向。”中国工程院院士、同济大学教授蒋昌俊也表达了技术的乐观态度，如今有数据、算力和算法的支持，可以更好地从内部提升系统性金融风险防御水平，预测危机并尽早扼杀，“2008年雷曼兄弟暴雷引发的金融危机，现在利用大数据强的算力能够有效地保证和跟踪。”

因此，开源成了提升AI安全性的可靠一招。为此，外滩大会赛事组委会发起开源倡议——支持并鼓励优秀参与者开源比赛模型，降低技术门槛、加强技术交流，进而帮助更多人检测伪造内容，助力AI向善。参赛者自主开源后，大赛组委会将在官方Github主页上汇总所有开源存储库。

倡议一经发出，就得到中国科学院自动化研究所VisionRush队伍和澳门大学JT Group的积极响应。开源不仅仅是免费分享，还意味着在技术社区开展代码接力，任何人都可以参与完善开源模型。

此外，十余家机构联合发布国内首个面向金融场景的“AI换脸”检测标准。该标准的发布为金融场景下的虚假数字人脸安全检测和评估提供了依据，也填补了这一领域的空白。