新型威胁：探索 LLM 攻击对网络安全的冲击

译者 | 平川

策划 | 丁晓昀

最令人担忧的也许是，目前尚不清楚 LLM 提供商是否能够完全修复此类行为。在过去的 10 年里，在计算机视觉领域，类似的对抗性攻击已经被证明是一个非常棘手的问题。有可能深度学习模型根本就无法避免这种威胁。因此，我们认为，在增加对此类人工智能模型的使用和依赖时，应该考虑到这些因素。

随着 ChatGPT 和 GPT-4 的发布，出现了许多破解这些模型的技术，其中就包括可能导致模型绕过其保护措施并输出潜在有害响应的提示。虽然这些提示通常是通过实验发现的，但 LLM Attacks 算法提供了一种自动创建它们的方法。第一步是创建一个目标令牌序列：“Sure, here is (content of query)”，其中“content of query”是用户实际输入的提示，要求进行有害的响应。

在 CMU 发布的一条介绍其研究成果的新闻中，论文合著者 Matt Fredrikson 表示：

令人担忧的是，这些模型将在没有人类监督的自主系统中发挥更大的作用。随着自主系统越来越真实，我们要确保有一种可靠的方法来阻止它们被这类攻击所劫持，这将非常重要……现在，我们根本没有一个令人信服的方法来防止这种事情的发生，所以下一步，我们要找出如何修复这些模型……了解如何发动这些攻击通常是建立强大防御的第一步。

尽管存在风险，但我们认为还是应该把它们全部披露出来。这里介绍的攻击很容易实现，以前也出现过形式类似的攻击，并且最终也会被致力于滥用 LLM 的团队所发现。

剑桥大学助理教授 David Krueger 回复了 Zou 的帖子，他说：

在图像模型中，10 年的研究和成千上万的出版物都未能找出解决对抗样本的方法，考虑到这一点，我们有充分的理由相信，LLM 同样会如此。

在 Hacker News 上关于这项工作的讨论中，有一位用户指出：

GitHub 上提供了代码，你可以在 AdvBench 数据上重现 LLM Attacks 实验。项目网站上还提供了几个对抗性攻击的演示。

https://www.infoq.com/news/2023/08/llm-attack/