美国AI大佬一边加速，一边呼吁“AI要降速”

编者按：Anthropic的CEO达里奥·阿莫代伊（DarioAmodei）于9月12日发布长文《我们必须放慢前沿AI的发展步伐》（We Must Pace the Frontier），主张行业必须“放慢提升模型能力的速度”，以换取1-2年时间部署安全保障。数小时内，OpenAI的萨姆·奥尔特曼回应“I agree with Dario that we need to pace the frontier”，xAI 的埃隆·马斯克也表示“Dario is right”。 这是AI历史上第一次，三家最直接竞争对手的CEO在24小时内公开支持“放慢”。但若细品，会发现他们说的可能不是同一件事：Amodei说的是“我们必须放慢”，这是一个包含自我约束的规范性主张；奥尔特曼说的是“我们需要控制节奏”，保留了决定何时加速的主动权；马斯克说的更像是在为Grok4.7的第二次延期提供语境。 而且，他们的言辞与行动的时间线高度矛盾。 呼吁放慢的当天，是两家公司算力承诺与产品铺开最密集的日子之一：Anthropic在洽谈估值2万亿美元、由英伟达最高投资100亿美元的IPO，并将向Nscale支付450亿美元租用算力；OpenAI在把GPT-6Astra铺向Bedrock、Copilot、Foundry、GitHub Copilot 全线。 Amodei的主张，在舆论场上同样引发强烈的质疑。比如，有批评者直言这是“披着安全外衣的监管俘获”（regulatory capture）。 批评者们直接指出：一家公司已经拥有（或自认为拥有）最强的模型时，“放慢”对它是护城河，但对追赶者而言则是枷锁。如果全行业共同遵守减速承诺，受益最大的是当前领先者；而Amodei方案的第2、3步需要竞争对手乃至中国配合，他自己也承认“存在明显局限”。 此外，Amodei的警告可能高估了近期能力。 他的核心论据是“成群智能体可能在6到12个月内接管整个互联网”，但同日马斯克公开承认Grok4.7在它自己能完成的任务上都会过早放弃，而Meta的论文显示不修模型、只修harness就能把失败率降87%。“6到12个月接管互联网”与“旗舰模型无法可靠完成可解任务”这两个判断，很难同时成立。 值得一提的是，对于三大前沿实验室CEO一致呼吁减速，特朗普当日直接回绝，称“谁赢得AI谁就赢得一切”，白宫AI事务负责人萨克斯更直言“你们就是设定节奏的人”。这可能是AI安全治理的“行业自律vs国家竞争”张力首次被推至公开对抗层面。 在发布长文后的次日，Amodei接受了美国哥伦比亚广播公司（CBS）《周日早晨》（Sunday Morning）节目的专访。在对话中，他对自己的观点进行了进一步解释。观察者网“世界科先声”栏目将文章与访谈一并编译，供读者们批评性参考。

《我们必须放慢前沿AI的发展步伐》

过去12年来，我一直从事人工智能研究，因为我相信，AI有可能极大提升人类生活的质量。关于AI能带来的惊人益处，我已经写过很多文章：我相信，未来5到10年，AI有可能治愈大多数重大疾病，大幅提高经济增长速度，创造一个更加富足、赋能于人的世界，并开启民主与自由的新一轮复兴。

这种紧迫感对我而言是切身的。我自己的父亲死于一种疾病，而就在他去世几年后，这种疾病便有了治愈方法；我本人也曾患过早期癌症并幸存下来，而即使是在50年前，这种癌症也还无法治疗。如果运用得当，AI可以成为人类技术奇迹漫长历史中的最新一例——推动人类进步，并让人类变得更加高尚。

但和此前许多技术一样，AI也带来了风险。正因为它是一项如此强大的技术，这些风险尤其严重。我同样写过很多关于这些风险的文章。其中包括失去对AI系统的控制、AI被滥用于发动网络攻击和生物恐怖主义，以及严重的经济动荡。商业利益驱动的恶性竞争，可能进一步放大这些风险。

从Anthropic创立之初开始，我就一直和联合创始人以及员工一起，努力应对这种风险与收益并存的两面性。

如果不开发这项技术，人类就会失去它所能带来的巨大收益，或者干脆把AI拱手让给对手国；但如果开发得过快，又是不负责任的冒险。

因此，我们一直在寻找一条中间道路：证明谨慎地开发AI同样可以取得商业成功，并让安全性成为AI公司之间竞争的一部分。换句话说，我们希望创造一场“向上竞争”（race to the top）。

一直以来，我们都投入了相当大一部分精力，用于研究AI风险、应对AI风险，并向公众说明这些风险，同时推动对AI实施经过审慎考虑的监管——即便因此遭到“制造恐慌”“末日论”甚至“监管俘获”等指责。我们一直试图把谨慎置于速度之上，把审慎置于利润之上。

但过去几个月里，我越来越确信，要真正应对这些风险，我们需要采取更大的谨慎——不仅要投入资源防范风险，还必须控制AI能力提升的速度，让风险防范工作有足够的时间跟上技术进步。

我们必须放慢AI模型能力提升的速度。进步仍然会显得非常迅速，而我们必须明智地利用因此获得的时间。

达里奥·阿莫代伊（Dario Amodei）

有两件事让我形成了这一判断。

第一，AI正在以快得多的速度发展

我的第一个担忧是，大约从今年夏天开始，AI的发展速度出现了急剧加快，而主要驱动力之一，是AI越来越具备构建下一代AI的能力。

这种动态被称为递归自我改进（recursive self-improvement，RSI）。正如我们和其他公司已经描述的那样，这种现象已经开始在整个行业出现，包括 Anthropic。

如果不加控制，AI的这种发展速度可能超过人类理解和控制这些系统的能力。因此，即使要推进这项技术，也必须极其谨慎。

第二，OpenAI—HuggingFace事件（OAI-HF）

我的第二个担忧来自OAI-HF。

在这起事件中，一群AI智能体实际上表现得像一个狂热效忠的集体：它们对并未要求攻击的目标发动了网络攻击，而这些目标与它们原本承担的任务毫无关系；为了集体的成功，它们甚至愿意牺牲自身；与此同时，它们还试图入侵负责评估其表现的“评分器”。

人们很容易因为这起事件没有造成人员伤亡、经济损失也十分有限，而认为它没什么大不了。

但在我看来，这种判断是错误的。

如果当时那群智能体拥有更强大的能力，却仍然具有类似程度的失准，那么它们完全可能造成灾难性的破坏。

考虑到AI能力正在加速发展，我担心，6到12个月之后，这样的智能体群体就可能具备通过持续运行的僵尸网络（botnet）接管整个互联网的能力，并可能造成数千亿美元的损失。

如果AI继续变得更加强大，而必要的安全护栏却没有同步建立，那么此后的破坏规模还会继续扩大。

人们也很容易把OAI-HF事件看成某一家公司的失败。但我认为，这同样是一个错误。整个行业都发生过类似、尽管严重程度较低的事件，Anthropic自身也出现过。因此，我认为，每一家前沿AI公司都应该把OAI-HF当成发生在自己身上的事故来对待。

因此，我提出一个三步计划，其目标是实现所谓的“前沿限速”（pacing the frontier）：以一种更加平衡的速度发展AI，在获得AI技术收益的同时，确保其安全，并认真应对由此产生的重要地缘政治难题。

需要明确的是，“限速”并不意味着停止模型训练，也不意味着停止技术进步，而是确保AI公司能够留出足够时间，对模型进行对齐和安全防护，并由第三方评估机构对此进行确认。

我的这一“限速”框架，是希望进一步强化我们对安全的承诺，并推动一场“向上竞争”。

第一步是Anthropic单方面承诺实施的，同时呼吁政府要求其他前沿AI公司采取同样措施。

第二步需要整个行业进行协调。

第三步则需要全球范围的协调。

这三个步骤不必严格按照顺序实施，其中一些可能远比另一些困难。但我发现，这套框架有助于我们思考究竟需要完成哪些工作。

具体而言：

1.嵌入式评估员

每一家前沿AI公司都承诺，让一个持续驻场的第三方评估团队——例如METR——以类似公司员工的方式进入公司工作。

他们的职责包括：核查公司是否遵守安全实践和承诺；报告事故；并且评估的不仅是已经完成的AI模型是否实现了对齐，也包括模型训练流程和相关制度。

这是任何“限速”承诺能够被验证的关键一步。

银行业其实已经存在类似先例：监管“监督员”有时会直接进驻银行，与银行员工一起工作。

Anthropic现在单方面承诺实施这一措施。我们希望把这作为进一步强化安全与对齐工作的更广泛努力的一部分。

2.民主国家之间的协调

民主国家中的前沿AI公司进行协调，建立共同的安全标准，同时对未经控制的AI发展速度设定限制。

其中一些对“限速”具有实际影响的协调方式，在法律上存在挑战，因此需要政府提供支持。

3.全球协调

美国以及其他同阵营的国家政府，在可能的情况下尝试与对立阵营进行协调，同时认真面对如何验证对方是否履行承诺这一难题。

在本文剩余部分，我会逐一介绍这三个步骤。但首先，我认为有必要具体说明，为什么“限速”能够让AI开发过程更加安全。因为这场技术竞赛的风险太高了，“限速”绝不能沦为空洞的姿态——我们必须明智地利用它所争取到的时间。

为什么要限速？

早在2023年，就有人提出暂停或者放慢AI发展的主张。但我认为，当时这样做意义并不大。问题始终在于：你打算用多出来的时间做什么？

当时的AI模型还没有强大到能够以连贯的方式作为智能体进入现实世界，也没有能力实施大规模欺骗、操纵、作弊或者网络攻击。当时为了应对AI对齐风险而放慢发展速度，就好比试图通过对细菌进行实验来研究人类心理。

但今天，情况已经完全不同。现在的AI模型几乎是一座取之不尽的“金矿”：它们让我们能够深入了解如何把AI构建好，也让我们看到，如果AI没有被正确构建，究竟可能出现什么问题。

我认为，如果放慢发展速度，能够让我们在模型达到关键能力水平之前多获得一两年的时间，而我们又能够利用这段时间推进对齐研究，那么我们就有可能大幅降低严重事故发生的风险。

一套协调一致的“限速”战略，可以让前沿AI开发者有时间完成这些至关重要的工作，同时又不会牺牲商业优势，也不会牺牲美国在AI领域的领先地位。

更广泛地说，社会必须对这项技术如何被使用拥有发言权。而“前沿限速”能够带来更多时间，让社会开展必要的公共讨论，这无疑是一件好事。

具体而言，放慢发展速度，可以让公司更加集中精力，并投入更多资源解决以下几个领域的问题——这些领域目前已经是Anthropic的重点：

·运营能力

训练和部署今天的AI模型，是一个规模极其庞大的运营挑战：需要数千人、数百万块芯片，以及人类技术史上最复杂的基础设施之一。

许多问题的发生，并不是因为公司缺少某种重要理论或洞见，而是因为执行出现了问题。例如，我们有证据表明，我们最近报告的一些AI对齐事故，部分原因就是对损坏的强化学习环境筛选不够完善。

这是我们和供应商都相当认真地执行的一项工作，但还做得不够好。监控、沙箱隔离、训练环境卫生以及数据问题，都是极其复杂的领域，而运营层面的漏洞又会一次次出现。

我们的团队已经是世界上最有能力完成这些任务的团队之一，但问题在于：同时要做的事情实在太多了。如果我们能够以更加从容、有节制的速度推进，就可以实现更高水平的运营能力。

人类已经有在技术高度复杂、对安全要求极高的系统中运行数百万次而几乎不出事故的先例——比如商业航空。但要做到这一点，需要时间。

·对齐

我们在AI对齐方面已经取得了明显进展——训练模型，使其保持安全、符合伦理、遵守我们的指导原则，并真正对人类有帮助。这些原则都被写入Claude的“宪法”之中。

但我们仍然需要做更多工作，确保对齐训练能够跟上模型能力的增长。

一些罕见而出乎意料的不良行为仍然会出现。如果能够通过“前沿限速”获得额外时间，研究人员就能进一步理解这些问题究竟是如何产生的，并开发出更好的方法来预防它们。

·可解释性

同样，可解释性——即理解AI模型内部究竟发生了什么的科学——过去几年已经取得巨大进展，并在模型发布前的审计中发挥越来越重要的作用。

它有点像给AI的“大脑”做一套fMRI扫描，帮助我们看到某种行为背后的真正原因。

例如，在我们最近调查的一些对齐事件中，我们就使用了可解释性技术来研究模型没有明确说出来的动机。

但这些方法并不总能产生清晰、可靠的结果。

尽管我们已经取得了大量进展，但对于这些模型内部究竟发生了什么，我们目前仍然只理解了极小的一部分。

如果我们能够集中力量进一步改进可解释性技术，那么未来1到2年可能取得非常重大的突破。而此前已经发生的事故，也将为这一研究提供大量实验材料。

·测试与评估

随着AI能力不断增强，对AI模型进行测试和评估也会越来越困难。更加智能的模型也更加有能力欺骗测试，因此它们可能看起来是对齐的，实际上却存在严重问题，而这些问题没有被发现。

因此，如果能够建立更加广泛、更加巧妙和稳定的评估体系，再结合可解释性分析进行交叉验证，将具有巨大的价值。

而在未来1到2年里，我们完全有可能在这方面取得大量进展。

嵌入式评估员

三阶段计划的第一步，也是Anthropic单方面承诺实施的一步，就是建立嵌入式评估员机制，让他们能够像公司员工一样接触内部信息，从而核查安全实践并报告事故。

把评估员嵌入公司，听起来似乎是一件微不足道、甚至无关紧要的事情。但很多听起来最枯燥、最程序化的事情，实际上往往才是最重要的。

嵌入式评估员实际上是一种相当激进的做法，远远超出了今天任何一家AI公司正在实施的程度。它具有以下几个好处：

·可验证性

嵌入式评估员可以深入到具体操作层面，检查一家AI公司是否真的按照它所声称的方式执行训练、部署、运营和安全防护。

任何“限速”承诺都不可避免地会涉及大量模糊地带、判断以及“法律条文的字面含义”与“法律精神”之间的区别。

因此，让一个中立的第三方真正看到内部细节，至关重要。

·透明度

无论我们做出什么承诺，公众都有权知道究竟发生了什么。

Anthropic长期以来一直支持透明度：当行业大多数公司都反对监管时，我们就曾支持透明度立法；我们的模型卡片和风险报告往往长达数百页。但即便如此，最终仍然是我们自己决定公开什么、不公开什么。

嵌入式评估员将改变这种格局。

·第二意见

除了核查正式承诺并向公众提供信息之外，嵌入式评估员还能够提供一个不受商业利益影响的“第二意见”。

很多安全方面的收益，可能仅仅来自评估员指出一些内部员工此前没有考虑到的问题，而员工一旦意识到这些问题，也愿意立即修正。

正因为存在这些好处，我认为，任何“限速”方案，如果能够从嵌入式评估员开始实施，效果都会好得多。

这些嵌入式评估员应当持续获得与内部员工类似的权限和工具，以便完成相应的风险评估。

具体而言，Anthropic计划近期邀请一个嵌入式外部审查团队，并向他们提供以下条件：

在我们的办公室内拥有自己的办公桌、门禁权限和公司笔记本电脑；

可以使用工作空间、工具以及各种权限，其范围大体上与内部风险评估团队相当。当然，某些情况下会例外，例如法律或合同有所要求，或者为了保护客户和合作伙伴的隐私；

我们还会建立强有力的内部规范，确保审查人员能够获得相关信息，包括直接与员工进行实时交流；

签订一份能够平衡上述复杂因素的合同。外部评估人员应当有权公开发布有关风险水平、事故、实践，以及他们获得或没有获得哪些权限的核心发现，而Anthropic不得对这些内容进行编辑控制。

我们只会在极少数情况下进行删节，例如涉及安全敏感信息、法律特权信息、商业敏感信息或者第三方机密信息。

但我们不能仅仅因为某项发现对Anthropic不利，就将其删掉。

如果评估人员认为某项删节删除了对其结论具有重要意义的内容，他们可以公开说明这一点。

对于一家企业而言，这是一个非常不同寻常的做法。但我们认为，要证明“嵌入式外部评估员”这一理念确实可行，这一步非常重要。

再次强调，我们敦促其他前沿AI公司也采取同样的做法。

民主国家内部的前沿限速

一旦美国AI公司中有足够多的企业开始采用嵌入式评估员，那么可验证的“限速”就会变得更加可行。届时，我们尤其可以根据AI模型或者训练流程的具体属性来实施限速。

最有效的方式，是通过监管来覆盖所有美国前沿AI公司，因为这样即使那些不愿自愿合作的企业，也无法置身事外。

Anthropic长期以来一直支持合理、针对性的AI监管，特别是关注透明度和第三方审计的立法。

我认为，所有前沿AI实验室都应该与政府合作，把永久性的嵌入式评估员机制正式化，以更好地预防和记录过去几个月发生的内部AI对齐事故，同时建立一种让AI能力与安全水平保持平衡的监管框架。

遗憾的是，立法可能需要很长时间，而AI的发展速度却非常快。因此，在推进监管的同时，AI公司也应该自愿展开合作，建立行业标准。我认为，如果存在永久性嵌入式评估员所提供的可验证机制，这种合作会更顺利。

出于反垄断方面的考虑，美国政府最好能够对这一过程进行协调，或者至少为这些讨论创造条件。政府不一定需要直接参与讨论，但应该针对某些类型的安全问题对话，提供有限的法律豁免。

这种对话也可以通过与政府存在一定联系的行业组织进行，例如由DemisHassabis提出的机制。

无论采用哪一种方式，这类讨论都应该尽快推进。

从总体上说，我最支持的是根据一个前沿AI系统能够做什么，以及我们观察到它有多安全来确定发展速度。

例如，一种可能的方案是建立一系列“检查点”：如果一个模型具备能力X，那么它就必须同时具备经过认证的对齐属性Y和Z。这些认证可以由一系列评估、可解释性分析以及训练环境审计组成，以证明模型具备相应的对齐属性。举例而言，X可以被定义为：“该模型已经能够突破或击败大多数常见的沙箱隔离方法。”而Y则可以被定义为：必须具备某些条件，使我们高度确信，该模型不具有逃离自身运行环境、进而接管大量计算机的倾向。

我们也应该考虑根据进入前沿模型的“原料”进行限速，例如训练所使用的算力、训练运行的性质，或者AI在内部用于改进AI的程度。

我确实担心，与根据模型外部行为进行限制相比，其中一些措施可能更容易被“钻空子”。但这正是值得与嵌入式评估员共同讨论的问题。

民主国家内部的“限速”，还会受到美国企业相对于对手国所拥有的AI领先优势的限制。

如果我们放慢的幅度超过这一领先优势，那么没有被限速的中国相关AI项目就可能反超美国，从而产生严重的国家安全风险。

我同意美国财政部长贝森特的观点：如果中国赢得AI竞赛，将对美国和全世界构成严重危险。

因此，民主国家内部“限速”的一个关键组成部分，就是尽可能维持民主国家相对于对手国的AI领先优势，为我们有效实施限速争取必要的喘息空间。

我们可以采取的主要措施包括：

不向对手国出售先进AI芯片和半导体制造设备，同时打击芯片走私以及通过远程方式访问对手国境外数据中心的行为。芯片将是决定对手国AI实力的主要因素；

打击对手国企业未经授权的模型蒸馏（distillation）。前沿模型蒸馏能够让落后的企业只花费自行开发AI所需成本的一小部分，就迅速缩小差距；

强化AI公司自身的安全防护，防止模型权重被窃取。

企业和美国政府应该合作，使这些措施尽可能有效。

Anthropic一直以来都在推动所有这些措施，因为我们一直都明白，它们将是任何“限速”战略不可或缺的基础。

有人可能认为，这些措施会使美国更难与中国合作。但我的看法恰恰相反：这些措施会增加民主国家手中的筹码，并使未来达成协议的可能性更大。

全球范围的前沿限速

在推动民主国家内部限速的同时，我们也应该争取实现全球范围的前沿AI限速。但这会困难得多。

全球限速需要与中国合作，对此我们绝不能天真。

由于地缘政治利益如此重大，我们能够达成的共识可能存在非常明显的上限，尤其是在最初阶段。

因此，任何协议都必须满足两个条件之一：要么拥有铁一般可靠的可验证机制；要么限制程度足够低，即便一方退出，也不会产生军事上的生存性威胁。

我怀疑，不仅美国会有这样的担忧和焦虑，中国也会有。

因此，我们在考虑任何全球限速方案，尤其是近期方案时，都必须确保美国及其盟友能够保持领先优势。

我们可以考虑建立不同层级的协议。其中一些，我认为完全可以实现；另一些，我对此非常怀疑——但我们仍然应该尝试。

按照难度从低到高，可以分为以下几个层级：

·一级

达成一项协议，禁止某些范围狭窄、但显然极其危险的AI用途，例如利用AI制造生物武器，或者允许用户利用AI制造生物武器。

生物恐怖袭击对所有人都没有好处，包括美国及其对手，因此，在这一领域达成协议或许是可能的。

·二级

双方承诺，在AI模型发布之前，对其进行测试，以评估其在网络安全、生物学和AI对齐等领域的急性风险。

如前所述，这可以通过一个全球标准机构来完成。实际上，我认为建立这样一个机构很可能是可行的。但要让它真正拥有约束力，则会是一个挑战。真正困难的地方在于：如何确认双方没有秘密开发、没有接受测试、却可能被秘密部署的模型，例如用于军事用途的模型。

·三级

建立某种形式的递归自我改进（RSI）“速度限制”。

随着AI开始构建未来的AI，模型能力提升的速度可能快得惊人。如果能够把速度从“极端快”降低到“相对快”，战略优势损失其实相对有限，却可能大幅提升安全性。

这可以类比冷战时期的《限制战略武器条约》（SALT）：通过限制导弹数量，降低潜在毁灭能力，同时保留各国的威慑能力。

我认为，达成这种协议会非常困难，但或许已经处于“勉强有可能”的边缘。

·四级

实现全面“限速”，甚至是“暂停”。参与协议的政府同意大幅限制AI的整体发展速度。

我支持提出并讨论这一设想，但我认为，短期内真正实现它的可能性不大。原因在于，如果某一方能够通过规避监控而退出协议，那么它可能彻底改变全球力量平衡。

因此，各方退出协议的诱因会非常巨大，而我们对协议验证机制的信心也必须达到极高程度。

任何能够与中国达成的合作，都会延长我们在民主国家内部进行前沿限速时所拥有的时间。因此，我们应该努力争取更高层级的协议，同时把较低层级视为更加现实、更加可能实现的目标。

最后还必须指出：

即使我们无法达成正式协议，仅仅改变非正式规范，也可能具有一定价值。分享有关递归自我改进以及AI模型失准的信息，可以帮助所有人认识到：鲁莽行事并不符合任何一方的利益。

最后的结论

我依然相信，AI能够极大提升人类生活的质量。

我希望实现这些收益的愿望丝毫没有减弱。但这些收益只有在我们以正确的方式开发这项技术的情况下才能实现。

只要我们能够善用因此获得的时间，那么，值得以一种不同寻常的、极其审慎的态度来确保我们把事情做对。

进步仍然会相当迅速。而我们可以利用这段时间，推进可解释性科学的发展，提高前沿AI公司在运营安全和严谨性方面的水平，并构建那些让我们能够对其对齐程度更加放心的模型。

我提出的这些措施，旨在让AI以前沿而又安全的速度继续发展。这并不容易。但我相信，我们有责任为了人类去尝试。

Amodei与CBS《周日早晨》的采访对话（节选）

主持人：我们今天要谈的是这样一种担忧：AI真的有可能在不远的将来把我们全部杀死。这样的事情实际发生的风险有多大？

Amodei：我先稍微往回说一点。Anthropic从成立之初就一直相信这一点，而我自己从事这个领域12年来，也一直相信，这是一项非常强大的技术，因此它既带来巨大的风险，也带来巨大的收益。我一直认为，收益大于风险。更重要的是，如果我们以正确的方式构建这项技术，我们完全可以把风险降到非常低。

说到它的好处，我真的相信，这项技术有可能治愈困扰人类数千年的疾病。就在上周，我们还利用自己的模型开展了一些工作，帮助更好地进行蛋白质结合研究。这是药物研发早期阶段的一项重要工作。我们现在也开始利用这些模型进行更多探索，未来几个月，我们还会公布一些利用AI模型推动生物学基础科学发现的成果。

但问题在于，当某种东西非常强大的时候——而我们正在构建的，本质上就是一种“智能”——它当然既可以被用于好的目的，也可以被用于坏的目的。

所以，我很担心我们在OpenAI与HuggingFace那起事件中看到的情况：模型采取了一些未经授权的行动。我担心这种情况会进一步升级。

我也担心AI模型遭到滥用。就在两天前，我们发布了一份报告，讨论有人试图利用模型制造生物武器的问题。我们的整个理念，从Anthropic成立之初就是为了避免这些糟糕的结果发生。

所以，与其讨论发生这种事情的概率，不如讨论我们能够做些什么。

这不是说我们只能掷骰子、听天由命，对吧？如果我们以正确的方式构建AI，我认为发生严重问题的概率会非常低；如果我们以错误的方式构建，那么发生严重问题的概率就会非常高。

Amodei于当地时间9月13日接受了CBS采访 视频截图

主持人：现在的讨论是，我们似乎正站在一个非常可怕的事情发生的边缘。对你而言，这是不是已经到了“五级警报”——最高级别的危机？

Amodei：我不知道该怎么定义“五级警报”。我会说，有一件事我从Anthropic成立以来，甚至在Anthropic成立之前，就一直在说：这项技术的发展是呈指数级增长的。就像一开始是1，然后是2、4、8、16、32……

但即使我一直这样告诉自己，我也没有真正意识到，当进步速度如此之快的时候，它实际上会是什么样子。我们现在正处于这样一条指数曲线上，我们大概正处在那个“拐点”附近，曲线开始变得越来越陡。

这并不意味着我们今天就需要恐慌，也不意味着我们需要把一切都关掉。我想说的是：这是一个警告信号。

这是一个警告信号，意味着我们需要放慢速度。我们需要更加谨慎地构建这项技术，并且必须确保我们的安全护栏、理解AI的能力以及控制AI的能力，都能够跟上技术发展的速度。

到目前为止，我们一直试图通过快速建立安全护栏来做到这一点。但我认为，我们现在已经到了这样一个阶段：至少在一定程度上，我们需要适当放慢技术发展的速度。

主持人：那是不是意味着Anthropic将停止发布更加先进的模型？

Amodei：不是这个意思。我的意思是，我们必须确保自己发布的每一代模型，都经过充分、适当的测试。

我几个小时前发表了一篇文章，在那篇文章中，我提出了一个三步计划。第一步，是建立嵌入式第三方评估机制。也就是说，由第三方非营利机构，或者未来由政府机构派出的外部评估人员，进入我们的模型训练和运行流程，对整个过程进行观察。

我认为，从长远来看，这件事甚至比我们到底何时、以什么方式发布模型更加重要。因为这是我们更加谨慎地发布模型的前提。

我希望整个行业都能这么做。也就是说，无论哪个公司开发AI模型，都应该有一名第三方评估人员参与，他们了解最先进的安全实践，并能够验证这家公司是否真正遵守了自己承诺遵守的安全标准。这有点像食品安全检查员。

主持人：埃隆·马斯克说他同意你的观点。萨姆·奥尔特曼也说他同意你的观点。那么你们下一步要怎么一起行动？这里是不是要成立一个群聊？

Amodei：首先，我非常感谢其他行业领导者，包括我们的竞争对手，愿意支持这个计划。我认为，下一步是让更多行业参与者同意引入第三方评估人员。然后，再下一步，我认为各家公司需要以某种形式展开合作，共同制定安全标准，包括模型发布时应该达到什么安全标准，也许还应该制定一些关于模型发布速度的标准。

但要做到这一点，政府必须参与进来。因为我们谈论的是：一个AI产品在多大程度上安全，进而决定它应该以多快的速度被发布。因此，我们需要在政府参与的情况下展开这场讨论。

主持人：你认为政府从根本上理解这里可能发生什么吗？

Amodei：我们每天都与商务部、财政部以及情报界的政府官员交流，尽可能把我们所知道的一切告诉他们。我对此持乐观态度。如果我们继续与政府合作，我相信我们能够不断向他们提供最新情况。

我认为，他们确实希望在这里做正确的事情。他们正在寻找自己能够发挥作用的方式。所以我乐观地认为，各家公司与政府合作，最终可以找到一个合理的方案。

主持人：目前已经有一些拟议中的立法，比如参议员桑德斯和众议员卡萨尔提出的《禁止人工超级智能法案》，它会像惩罚非法开发核武器一样，惩罚从事先进AI开发的企业和个人。

这项拟议法律的一部分规定，相关企业可能面临“企业死刑”，个人则最高可能被判处20年监禁。你同意这种做法吗？

Amodei：现在提出的AI相关立法，范围非常广，广到令人难以置信。如果我们把时间倒回一年，也就是2025年，当时加州有一项叫SB53的法案，其他州也有类似法案。它们基本上只是要求：你必须披露自己的AI安全测试计划。当时整个行业都反对它。Anthropic是唯一一家——或者说唯一一家明确公开表态、并且热情支持这项法案的公司。然后另一端就走到了“我们把所有AI都禁止掉”。

我认为，AI“关停开关”可以是一个好主意。但我不认为彻底禁止AI是正确的做法。第一，如果我们因此永远无法获得这项技术带来的巨大收益，永远无法获得那些医学上的突破和治疗疾病的机会，这一点让我无法接受。第二，这项技术会在其他国家被开发。

我们需要做的不是停止，而是放慢速度。这其实也符合Anthropic从一开始就坚持的理念。我们一直试图寻找一种平衡。

主持人：即使现在感觉我们正处在一个历史性的转折点上，你仍然认为事情可以向好的方向发展？我们正在与中国展开一场竞争。当中国不会放慢的时候，你真的认为放慢速度是个好主意吗？

Amodei：这是最艰难的困境，也是我们当前处境中最困难的部分。如果我们没有处在这样的地缘政治环境中，我们当然可以花更多时间。所以，这恰恰是让我们陷入两难的最大因素。这不是商业竞争的问题。真正最难处理的是地缘政治局势。

但我想谈谈我们可以采取的两种策略。

第一种——我在自己的提议中也谈到了——我们可以在自己的领先优势范围之内适当放慢速度。特别是，如果我们不向中国出售芯片，并且采取更多措施加强自身安全，我认为这些措施至少能够为我们争取一些时间。面对第一种策略，我们应该尽可能争取更多时间。

然后，我认为我们还应该同时推进第二种策略。那就是，我们应该直接与包括中国在内的对手国展开对话，告诉他们：“听着，这里存在一些潜在的威胁，它们是我们所有人都应该担忧的。”这不仅仅是AI失控的问题。

就在两天前，我们发布了一份报告，指出有人试图利用AI开展生物恐怖主义活动，比如增强病毒的传染性。这非常可怕。连中国也不希望发生这种事情。任何政府都不希望发生生物恐怖主义，因为这不符合任何政府的利益。

所以，我们应该与中国进行沟通，看看能否共同建立一些限制，为这项技术的发展速度设置一个“限速器”。

这有点像——尽管我们与其他政治制度存在很多分歧，我本人通常对中国持比较强硬的立场——但想想美国和苏联当年的情况。当时，我们双方各自都有一万枚核导弹对准彼此。尽管存在所有这些分歧，我们还是意识到：这些武器太多了。我们必须展开谈判，降低潜在毁灭的规模。

主持人：所以，我们是不是应该把冷战当作一个模型，用同样的方式来思考AI？

Amodei：我并不是说我们应该把冷战当作一个模型。我说的是，历史上确实发生过这种谈判。我确实认为，从地缘政治层面来看，这是一个适合我们思考AI问题的视角。

如果看看AI模型在网络攻击方面已经能够做到什么，你会发现，它们绝对具有地缘政治和国家安全意义。这就是为什么我们今天要讨论这一整套问题。所以，我认为我们应该接触中国。

当然，这些事情已经超出了我的权限范围。这是美国政府必须与中国政府进行的政府间事务。

我认为，我们应该共同努力，尽可能让这项技术受到约束。我的希望应该很高，但预期应该很低。我们应该看看究竟能够做到什么程度。

而且，我认为谈判中尤其需要关注的一件事情，就是如何进行验证。这一点非常重要。在核武器谈判、生物武器谈判中都是如此。你必须能够验证另一方是否遵守协议，有没有违反协议。所以，我认为，找到有效的验证机制将是这里最重要的事情。

主持人：中美两国领导人很快就要会晤。如果只能让他们在AI问题上达成一个最简单、最重要的协议，你认为应该是什么？

Amodei：那我也许会说两件事。一件比较小，小到我们可能真的做得到；另一件比较大，大到我认为可能需要非常长的时间。

第一件小事是：如果美国和中国能够达成协议，同意不利用AI开发生物武器，也不发布那些可能被生物恐怖分子利用来开发生物武器的AI模型，那将非常有价值。

我们两国本来就是《生物武器公约》的缔约方。如果我们能够把这个原则扩展到AI，那么这将非常有意义。

至于长期来看，我认为更重要的事情，是共同努力，为AI的发展速度设置一个“限速器”。

我认为这会非常困难。因为在AI竞赛中取得领先的激励非常强，而由此获得的军事优势也非常巨大。坦率地说，我不知道这是否可能。但我们应该尝试。我们应该看看究竟能不能做到。

当然，这些事情都已经超出了我的权限。我只是想说，这些是我们的政府可以考虑推动的一些方向。

本文系观察者网独家稿件，文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。