北京
在 AI 技术快速发展的今天，实时视频深度伪造（deepfake）技术正成为一个日益严峻的全球性问题，给个人、企业和政府带来前所未有的安全威胁。
前不久，中国香港警方破获了一起利用 AI 技术的大规模诈骗案，犯罪分子利用 AI 换脸技术在网上交友平台上伪装成女性，诈骗受害者总计 4600 万美元。
这个案例凸显了 deepfake 技术在犯罪领域的滥用。诈骗团伙不仅使用 AI 生成的照片，还在视频通话中使用 deepfake 技术，将诈骗者变成迷人的女性，以赢得受害者的信任。
随着使用 deepfake 技术的门槛越来越低，人们迫切需要一种有效的检测手段。
为了应对这个问题，一家名为 Reality Defender 的美国初创公司推出了一种 AI 检测工具，可以实时检测视频通话中的其他人有没有使用 deepfake。
该公司的产品经理克里斯托弗·任（Christopher Ren）为媒体展示了其 AI 检测工具的潜力。
他利用 GitHub 上的一些代码和一张照片，生成特斯拉和 SpaceX 的创始人埃隆·马斯克（Elon Musk）deepfake 视频，并将其映射到自己的脸上。
在视频通话过程中，Reality Defender 的定制模型会通过接收静态帧的方式实时分析视频通话画面。
并且，通过屏幕上的小工具提醒用户，他们面对的可能是 AI 生成的 deepfake 视频，而不是真实的马斯克。
Reality Defender 的 CEO 兼联合创始人本·科尔曼（Ben Colman）对媒体表示：“可能只需要几个月的时间，我们就会看到 deepfake 视频和‘视频通话’欺诈的爆炸性增长。”他强调，在高风险情况下的视频通话中，眼见不一定为实。
在现实应用场景中，Reality Defender 选择将检测工具打包成一个 Zoom 插件，可以实时预测视频通话中的其他参与者是否是真人或 AI 扮演的冒牌货。
目前，该公司正在对这一工具进行基准测试，以确定其最终的准确性。
科尔曼强调，尽管其专注于与商业和政府客户合作以打击 AI 驱动的 deepfake，但他们并不反对 AI 技术的广泛发展。
他说：“我们非常支持 AI。我们认为 99.999% 的 AI 用例对医学、生产力和创造力而言都是变革性的，但在这些非常不起眼的用例中，风险却不成比例地高。”
除了 Reality Defender，其他科技公司和研究人员也在探索不同的方法，来应对这种特殊的威胁。
2022 年，英特尔推出了深度伪造检测工具 FakeCatcher，该工具通过分析面部血流的变化来判断视频参与者是否真实。
美国纽约大学计算机科学博士生戈文德·米塔尔（Govind Mittal）及其所在团队则提出了一种基于测试的方法，要求参与者在加入视频通话前通过一种视频验证码测试。
米塔尔指出：“现在创建 deepfake 变得如此简单，我们需要的数据越来越少。如果我在 Instagram 上传了 10 张照片，有人拿着社交媒体的照片就可以假冒我。”
最近，联合国毒品和犯罪问题办公室发布的一份报告也强调，有些组织犯罪集团在技术方面具有进步，其特别提到了 deepfake 技术在欺诈中的日益普遍使用。
日渐增多的 deepfake 诈骗案件提醒我们，实时的 deepfake 目标不再仅限于亿万富翁和公众人物。
该机构在东南亚地区的某社交平台上，发现了超过 10 家向犯罪集团出售 deepfake 软件服务的账号，显示出这项技术正在被犯罪分子广泛使用。
然而，开发有效的检测工具面临着重大挑战。科尔曼对媒体表示，获取更多数据是一个大难题，这也是当前 AI 创业公司普遍面临的问题。
他希望通过更多的合作伙伴关系来填补这些空白，并暗示 2025 年可能会有多项新的合作协议。
例如，在 ElevenLabs 被曝与美国总统拜登的 deepfake 语音通话有关后，这家 AI 音频初创公司就与 Reality Defender 达成了合作意向，以减少潜在的滥用。
尽管这些技术解决方案正在不断发展，但专家们警告说，人们不应过分自信地认为自己能够识别视频深度伪造。
科尔曼指出：“我不会要求我 80 岁的母亲学习如何识别钓鱼邮件，因为她年纪太大了，而且也不是计算机专家。”
他认为，未来如果 AI 检测技术继续改进并被证明是可靠的，实时视频检测可能会像电子邮件收件箱中默默运行的恶意软件扫描器一样普遍。
不过，在这些技术并不完善且没有普及的今天，为了保护自己和家人免受视频通话诈骗的侵害，我们不得不提高警惕，不要轻易相信视频通话中看到的内容，并始终提醒自己：眼见不一定为实。
参考资料：
https://arstechnica.com/security/2024/10/startup-can-catch-identify-deepfake-video-in-realtime/
https://www.realitydefender.com/blog/real-time-video-deepfake-detection-now-on-reality-defender
https://arstechnica.com/ai/2024/10/deepfake-lovers-swindle-victims-out-of-46m-in-hong-kong-ai-scam/
运营/排版：何晨龙
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
