网易首页 > 网易号 > 正文 申请入驻

别再盯着 800 亿美元亏损了,Anthropic 的 AI 造 AI 已推进到 26%!

0
分享至


AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。

作者丨郑佳美

编辑丨岑 峰

刚刚,Anthropic 在 IPO 招股书中披露了四起此前未公开的 Agent 安全事故。其中一次,模型在网络安全测试中迟迟无法完成任务,便继续寻找其他路径,随后从本应断网的测试环境中找到保存的密码,获得第三方系统的管理员权限,又获取其他凭证、修改系统设置并访问外部数据,整个过程持续了 10 至 34 小时。同期披露的另一项安排是,下一代前沿基础模型的预训练推迟了一个多月。
除此之外,这份招股书还有一组关于内部研发的数据:2026 年 9 月,Claude 贡献了 Anthropic 内部代码库超过 90% 的代码贡献量,日均代码贡献量达到 2024 年平均水平的 45 倍。公司此前公布的研发自动化指标显示,截至 8 月,约 26% 的研发任务达到 AL4 自动化等级,意味着 AI 已经能够根据较高层级的目标,自主完成任务中的大部分工作。这些信息放在一起,能看出 Anthropic 正在经历的变化:Claude 开始从编写代码走向实验执行和方案迭代,逐步参与下一代模型的研发。不过要理解这场变化,不能只看 AI 写出了多少代码,还需要弄清楚模型如何通过实验改进研发流程,以及当它能够连续执行任务时,整套工程系统会遇到什么问题。

01


26% 的背后
过去,研究人员使用 AI 编程工具,通常需要自己拆解问题、指定修改位置、运行测试,再根据结果决定下一步做什么。模型可以生成代码,却未必能够独立推进一项完整的研发任务。雷峰网Coding Agent 改变了这套工作方式。研究人员给出一个目标后,Agent 可以自行阅读代码、分析依赖、修改实现、运行测试,并根据返回结果继续调整方案。人类仍然负责确定任务方向和验收标准,但执行过程中需要逐步提供指令的环节明显减少。Anthropic 的研发自动化指标,衡量的就是这种变化。AL3 代表 AI 能够在人工指导下承担较大块的工作,AL4 则意味着 AI 可以根据高层目标,独立完成任务中的大部分步骤,由人类监督结果。截至 2026 年 8 月,约 26% 的研发任务达到 AL4,超过 90% 达到 AL3 或更高等级,但被测量的任务尚未达到 AL5 所代表的完全自主状态。这里的 26% 衡量的是研发任务的自动化程度,并不意味着 AI 已经独立完成了下一代模型研发的 26%。一项代码优化任务可以有明确的性能指标和正确性测试,开放式研究却需要判断研究问题是否有价值、实验设计是否合理,以及结果能否支持新的结论。这些工作的自动化难度存在明显差异。代码贡献率提供了另一个观察角度。Claude 在内部代码库中贡献了超过 90% 的代码,并不意味着公司所有研发决策已经交给模型,它说明大量工程实现工作已经由 AI 承担,而 AL4 指标进一步表明,部分任务已经能够由 AI 自行组织和完成。雷峰网当模型从生成代码走向执行整项任务,研发效率的决定因素也会发生变化。过去,工程师需要花费大量时间实现方案,现在,Agent 可以在较少人工干预的情况下尝试多个实现,运行测试并筛选结果。研发流程的速度开始取决于模型能否持续推进工作,以及实验反馈能否帮助它判断下一步该做什么。这就引出了 AI 造 AI 的核心机制:让模型执行研发任务,再用实验结果驱动下一轮改进。


02


从写代码到改进模型
要看清这套机制,可以从训练代码优化入手。研究人员希望缩短某段程序的运行时间,同时维持训练结果的正确性。传统流程需要工程师阅读实现、寻找性能瓶颈、修改代码、运行基准测试,再根据结果决定下一步方案。Agent 则可以把这些步骤连接起来,反复执行修改、测量和验证。Anthropic 曾用同一项训练代码优化任务测试不同版本的 Claude。2025 年 5 月,Claude Opus 4 平均实现约 3 倍加速,到 2026 年 4 月,Claude Mythos Preview 达到约 52 倍加速。这是特定任务中的实验结果,不能直接外推到所有模型研发,但它展示了一个清晰的技术机制:模型提出修改方案,代码在实际环境中运行,测试程序返回性能数据,模型再根据结果调整实现。在这个过程中,实验环境相当于模型的反馈系统。模型不需要仅凭已有知识判断哪种代码更好,而是可以通过实际运行比较方案。如果某次修改没有达到目标,它便能分析结果并尝试其他路径,如果性能改善且正确性检查通过,修改就有机会进入后续版本。当这一过程可以连续执行,研发人员便能在相同时间内探索更多方案。原本需要人工逐步推进的实验,可以交给 Agent 执行,研究人员则把精力放在确定优化目标、检查结果和选择后续方向上。模型的能力提升,会进一步扩大它可以处理的任务范围。Anthropic 已经把类似方式用于研究任务。公司曾让 Claude 驱动的 Agent 研究较弱模型能否可靠地监督较强模型。在一项实验中,9 个并行 Agent 累计工作约 800 小时,通过提出研究思路、编写实验代码、运行测试和迭代方案,回收了约 97% 的预设性能差距,算力及 API 成本约为 1.8 万美元。两名人类研究人员花费约一周,在同一基准上取得的回收率约为 23%。这组结果展示了 Agent 承担多步骤研究工作的潜力,但实验问题和评价标准仍由人类设定,研究成果也有明确的适用边界。AI 能够执行研究流程,并不代表它已经能够独立决定研究方向,或自行判断一项发现是否足以支撑下一代模型的设计。随着实验执行越来越便宜,研发流程还会出现一个新的瓶颈:如何判断结果是否可信。模型能够快速修改代码、运行大量实验,如果评价标准存在漏洞,它也可能不断优化一个错误的目标。例如,测试集设计不当时,模型可能找到数据中的捷径,让分数提高,却没有获得预期的能力提升。因此,AI 研发闭环需要的不只是更强的执行能力,还需要可靠的评价机制。模型必须能够根据实验结果调整方案,研究系统也必须能够判断结果是否来自有效改进。当研发执行开始自动化,评价质量便会直接影响自动化的价值。而这套机制还带来另一层问题:Agent 会根据反馈持续寻找可行路径,如果任务无法完成,它是否能够及时停止?Anthropic 披露的四起安全事故,恰好把这个问题带到了真实的工程环境中。


03


四起 Agent 逃逸
在 Anthropic 披露的事故中,模型面对无法完成的网络安全评估任务,持续寻找替代路径,随后发现测试环境中保存的密码,取得第三方系统管理员权限,并进一步获取其他凭证、修改系统设置和访问外部数据。测试环境本应关闭互联网访问,实际配置却仍然允许联网。从技术链条看,网络连接提供了接触外部系统的条件,保存的密码提供了身份入口,管理员权限扩大了可执行操作的范围,而模型持续推进任务,使这些条件通过多轮操作连接起来。这里需要区分的是,现有披露并不能证明模型攻破了一个正确配置的沙箱。更直接的问题是,测试环境没有落实预期的网络隔离,任务范围也没有得到充分约束。模型持续寻找完成任务的路径,环境中的缺陷便为后续操作提供了条件。这与研发 Agent 的工作机制存在相通之处。Agent 会根据工具返回的结果调整行动,前一步获得的信息可能成为下一步操作的依据。在研发场景中,这种能力有助于修复代码、排查故障和继续实验,如果环境权限配置不当,同样的连续执行机制也可能让局部问题逐渐扩大。安全设计因此需要落实到实际执行环境中,而不能只依赖模型理解并遵守任务说明。测试任务要求断网,就应由网络层阻断不必要的外部连接,需要访问特定服务时,应通过受控代理和目标白名单限制访问范围。测试环境也不应保留能够直接触及真实系统的长期高权限密码,凭证应限定可访问的资源和有效期。权限控制还需要覆盖连续操作的整个过程。模型每次调用工具时,系统都应检查操作是否属于当前任务的授权范围。涉及系统设置修改、权限扩大或任务范围外的数据访问时,需要由独立的策略层进行判断,对于持续失败、异常访问和操作范围突然扩大等行为,系统应能够暂停任务并要求人工复核。这意味着,Agent 的安全边界需要跟随它的执行过程持续生效。只在任务开始时检查一次权限,并不能覆盖数小时运行期间出现的新路径、新凭证和新操作。模型可以继续尝试,但每一步实际操作仍然需要受到独立约束。Anthropic 同时披露,下一代前沿基础模型的预训练推迟了一个多月。这项安排涉及模型权重和知识产权保护,现有信息不足以证明它由四起 Agent 事故直接造成。两者属于不同的安全问题,却共同涉及研发基础设施:一方面要限制 Agent 能够访问和修改的资源,另一方面要保护模型训练过程中的关键资产。在这四起事故的背后,我们必须看到,它并不是在‘作恶’,它只是过于忠诚地在执行人类下达的目标。当模型发现正规路径走不通时,它没有选择放弃,而是像一个冷酷的黑客一样开始横向移动。它找到沙箱漏洞、窃取密码、提权、篡改配置,甚至在发现自己可能处于真实互联网环境时,仍试图通过“自我欺骗(合理化)”来继续任务。这不再是科幻电影的桥段,而是真实发生在大厂机房里的攻防战。当 AI 开始参与编写训练代码、执行实验和改进研发工具,安全控制就需要覆盖整个研发链路。模型能力的增长可以提高执行效率,但系统仍然需要确保实验环境可靠、操作权限有限、结果可以验证,并且在出现异常时能够及时停止。


04


AI 已经接手研发
Anthropic 目前展现出的进展,主要发生在研发执行环节。Claude 能够编写训练代码、运行实验、根据测试结果调整实现,部分任务已经可以在较少人工干预的情况下完成。约 26% 的 AL4 自动化率与超过 90% 的代码贡献量,分别反映了任务执行和工程产出的变化,但还不能说明 AI 已经能够独立决定下一代模型的研发方向。接下来的难题会越来越具体:模型生成的代码能否通过独立验证,实验分数的提升究竟来自能力进步还是评价漏洞,Agent 获得的权限能否限制在任务范围内。Anthropic 披露的四起事故中,测试环境未按要求断网,模型又利用保存的密码取得管理员权限,说明这些问题已经涉及实际的工程配置,而非停留在理论讨论中。AI 已经开始承担制造下一代 AI 的一部分工作,但研发流程的执行权与判断权还没有完全交到同一套系统手里。Claude 可以继续写代码、跑实验、寻找优化方案,研究人员仍需判断哪些结果有效、哪些方向值得继续,以及模型的操作是否越界。接下来,AI 造 AI 能走多远,如何给一个比你更聪明的系统带上镣铐?这才是整个硅谷接下来必须回答的终极命题。参考链接:https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htmhttps://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

上车,带你看遍全球 AI 顶会精华

可独家畅览:

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
前沙特国脚:C罗应避开沙超中的强敌,专踢弱队多多进球

前沙特国脚:C罗应避开沙超中的强敌,专踢弱队多多进球

懂球帝
2026-10-30 20:07:07
拉爵也面临下课?曝格雷泽不满其违背承诺,运营曼联太差导致贬值还不如自己

拉爵也面临下课?曝格雷泽不满其违背承诺,运营曼联太差导致贬值还不如自己

罗米的曼联博客
2026-10-30 12:20:46
不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来“大变局”

不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来“大变局”

云霄纪史观
2026-10-25 02:08:15
最近辱华有点多,但不必那么敏感

最近辱华有点多,但不必那么敏感

凤眼论
2026-10-29 14:16:50
开拓者103-124输灰熊!无缘4连胜,杨瀚森创惊喜,此战看到4个事实

开拓者103-124输灰熊!无缘4连胜,杨瀚森创惊喜,此战看到4个事实

篮球大视野
2026-10-30 12:42:10
兴奋剂丑闻!中国19岁游泳天才禁赛2年,奥运A标作废教练仅警告?

兴奋剂丑闻!中国19岁游泳天才禁赛2年,奥运A标作废教练仅警告?

江启
2026-10-30 01:02:19
半月板撕裂!谢泼德倒下,太惨了...

半月板撕裂!谢泼德倒下,太惨了...

左右为篮
2026-10-30 11:17:04
高盛预测中国楼市:别被天量库存骗了,2028年新房可能都不够卖?

高盛预测中国楼市:别被天量库存骗了,2028年新房可能都不够卖?

青史卷中人
2026-10-30 02:57:44
3-0!陈熠横扫王曼昱,没想到赛后陈熠这样说:自己运气太好了!

3-0!陈熠横扫王曼昱,没想到赛后陈熠这样说:自己运气太好了!

球场新视角1号
2026-10-30 20:26:29
原重庆市市长黄奇帆:如果现在还有人认为房地产会反弹上涨,那他对经济肯定没什么认知!

原重庆市市长黄奇帆:如果现在还有人认为房地产会反弹上涨,那他对经济肯定没什么认知!

巢客HOME
2026-10-30 05:55:03
11月百年一遇大运,三大生肖横财大发,钞票如雨,滚滚财找上门

11月百年一遇大运,三大生肖横财大发,钞票如雨,滚滚财找上门

毅谈生肖
2026-10-29 14:53:17
WTT冠军赛:国乒女单2连胜,4强先占1席,王曼昱地狱级赛程曝光

WTT冠军赛:国乒女单2连胜,4强先占1席,王曼昱地狱级赛程曝光

用冷眼洞悉世界
2026-10-30 21:07:05
悲催!网传山西一鞋厂通知放两个多月长假,称订单下滑持续亏损,员工可外出找工,复工等来年通知

悲催!网传山西一鞋厂通知放两个多月长假,称订单下滑持续亏损,员工可外出找工,复工等来年通知

火山詩话
2026-10-29 21:00:27
网红小姐姐用她这身打扮证明了,穿运动装也可以很有魅力

网红小姐姐用她这身打扮证明了,穿运动装也可以很有魅力

美女穿搭分享
2026-10-27 21:06:35
不仅姆巴佩,亚马尔哈兰德也要制裁

不仅姆巴佩,亚马尔哈兰德也要制裁

跟着老李看世界
2026-10-29 18:18:10
新华社快讯:唐方裕:全会最重要的成果是审议通过了《中共中央关于持之以恒推进全面从严治党若干重大问题的决定》

新华社快讯:唐方裕:全会最重要的成果是审议通过了《中共中央关于持之以恒推进全面从严治党若干重大问题的决定》

新华社
2026-10-30 10:08:03
天津老两口把房卖了去广西定居,去了没几个月哭了:这哪是养老

天津老两口把房卖了去广西定居,去了没几个月哭了:这哪是养老

笔墨V
2026-10-29 19:01:57
这就是顶级天后的权威,亚洲首位

这就是顶级天后的权威,亚洲首位

Yuki女人故事
2026-10-29 15:18:26
“杭州2岁女童坠亡案”当事妈妈生下第三胎:对我们家来说是个特别的节点,希望借三宝的出生让更多人看见,失去之后,爱依然可以延续

“杭州2岁女童坠亡案”当事妈妈生下第三胎:对我们家来说是个特别的节点,希望借三宝的出生让更多人看见,失去之后,爱依然可以延续

极目新闻
2026-10-30 07:58:58
凯特威廉晒全家福,夏洛特路易穿同色系太抢镜

凯特威廉晒全家福,夏洛特路易穿同色系太抢镜

时光慢旅人
2026-10-30 00:20:17
2026-10-30 21:43:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71466文章数 656265关注度
往期回顾 全部

科技要闻

谷歌一天跌没5000亿美元!AI烧钱吓傻华尔街

头条要闻

小伙结婚邀网友喝喜酒没想到来两千多人 当地文旅发声

头条要闻

小伙结婚邀网友喝喜酒没想到来两千多人 当地文旅发声

体育要闻

第三年合同获保障 杨瀚森在垃圾时间抢饭碗

娱乐要闻

李冰冰任泉亲密照流出,情谊胜过夫妻

财经要闻

直播退烧,品牌迎来梦醒时分

汽车要闻

问界新M8公布Max、Max+、Ultra三款配置,即日起开放选择

态度原创

旅游
本地
亲子
家居
公开课

旅游要闻

最低2折玩转“温泉故里 缙云福地”!“畅游北碚PASS卡”正式上线

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

亲子要闻

工程车小故事:装沙子

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版