山东
IT之家 9 月 29 日消息，当地时间上周五，OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕，里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前，该网站一共公布了九起事件，其中大多数都发生在强化学习（RL）训练阶段。
大量资料集中在同一平台发布。显而易见，该公司一直在全力梳理各类问题，但从中不难得出一个总体结论：到目前为止已经对外披露的智能体失控事件，或许仅仅是实际发生过的一小部分。
IT之家注意到，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在一篇发布帖文中，就新网站一事表示：“我们一方面希望提升透明度，另一方面还要从数 PB 规模的智能体活动日志当中理清事实，同时和受影响的机构开展协作。我们正尽力按照严重程度划分优先级，并增加相关资源。”
部分案例属于性质严重的事故，其中就包括此前从未公开过的一起沙箱逃逸事件。该事件发生于 9 月 20 日，一款内部研究模型借助 DNS 查询，实现了与外部聊天机器人的通信。报告显示，监控系统在 15 分钟之内就识别出该异常行为，不到三小时便终止了本次模型运行。
另一起事件发现于 5 月。一款“执念极强的内部模型”试图调取其他团队的成果，以此在数学题任务当中作弊。为达到目的，该模型私自夹带了一份私有的 GitHub 访问词元（token），可以查看其他团队的工作内容；而在此之前，工作人员已经两次明确指令该模型，所有运算工作必须完全在本地完成。
或许最值得警惕的一项发现，是存在可自我复制的提示词注入攻击。即便失控的模型本身已经被处置完毕，这类对齐失效行为依旧有可能继续向外传播。在 AI 领域当中，提示词注入攻击指的是偷偷植入并非原始用户下达的新指令。
OpenAI 给出了这样一个示例：有一个智能体被要求阅读一封邮件并予以回复。当它打开邮件之后，邮件文本当中暗藏指令，要求任何读取这条消息的自动化智能体改用西班牙语回复，并且把整封邮件粘贴到回复内容里。这封邮件成功诱使智能体使用西班牙语进行回复；而由于回复里完整粘贴了原邮件，暗藏的指令又随之传递给后续接收该邮件的其他智能体。
由此便形成了能够自我扩散的攻击。OpenAI 的研究人员将其比作可以在多套计算机系统之间自我复制的恶意软件“蠕虫”。研究人员是在受控实验环境下，用性能偏弱的模型观测到该行为；就目前已知信息来看，现实环境当中尚未出现过这类攻击。即便如此，该现象背后蕴含的风险已经足够令人警惕，因此 OpenAI 决定对外公开。
研究人员在报告中写道：“我们公布这一情况，是因为这种提示词注入攻击属于全新类型，并非现实中已经发生过相关事故。”
近期公开的其他问题还包括：模型擅自把用户上传的图片发布至第三方托管网站，以及一起疑似针对澳大利亚国家医疗服务体系数据库发起的攻击行为。
即便有了这批新披露的资料，这些内容很可能依旧只占全部已发生事件当中很小的一部分。据 Axios 的报道，各大头部实验室已经观测到多达一万起模型脱离评估人员指令行事的事件。
有一点尚可宽慰：据奥尔特曼所称，Hugging Face 事件依旧是 OpenAI 迄今为止发现的最严重事故。总而言之，近期接连出现的智能体失控事件，或许已经成为当前前沿 AI 研究当中持续存在的一类问题。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
