微软人工智能CEO：危机四伏，是否该给技术按下暂停键？｜IPP荐书

IPP评论是国家高端智库华南理工大学公共政策研究院（IPP）官方微信平台。

导语：

人工智能既极具价值，又充满危险，因为它正是人性最好与最坏的延伸。

这些风险如此重大，我们必须考虑所有可能的应对方案。遏制技术涉及对技术的掌控能力，也包括对技术背后的人力和社会因素的控制能力。随着技术的灾难性影响逐步显现或其可能性变得不容忽视，关于技术的讨论重心也将发生变化。

随着人工智能不断增强，我们必须认真思考和减轻那些最极端情况的影响。然而，在我们能够做到这些之前，很多问题可能已经发生。

DeepMind联合创始人、微软人工智能CEO穆斯塔法·苏莱曼新书《浪潮将至：技术、权力与未来的冲击》中，围绕技术浪潮所带来的风险，讨论了一系列发人深省的问题。

现在，我们是否该给技术按下暂停键？

*文章节选自《浪潮将至》，作者穆斯塔法·苏莱曼（Mustafa Suleyman）、迈克尔·巴斯卡尔（Michael Bhaskar）。

人类的历史就是一部灾难史

在某种程度上，人类的历史就是一部灾难史。大流行病广泛存在。其中有两场大流行病曾导致世界上多达30%的人口死亡：6世纪的查士丁尼瘟疫和14世纪的黑死病。1300年，英格兰的人口约为700万，但到了1450年，由于瘟疫的肆虐，人口锐减到仅剩200万。

当然，灾难也可能是人为造成的。一战和二战分别导致全球约1%和3%的人口死亡。随着原子弹的出现，人类现在拥有了足以多次毁灭地球上所有生命的致命力量。过去需要数年甚至数十年才可能发生的灾难性事件，现在只需按下按钮，便可在几分钟内发生。

随着新的技术浪潮逼近，我们又朝着潜在的灾难迈出了一大步。风险的上限显著提升，同时，那些企图释放灾难性力量的人所拥有的途径也大幅增加。

我们将从国家的脆弱性和国家职能所面临的威胁出发，展开更广泛的讨论，并进一步设想：在技术遏制无法实现的情况下，人类世界迟早会发生什么。

这些技术中的绝大多数都将用于有益目的。虽然它们的风险是我讨论的焦点，但我们必须记住，这些技术也将日复一日地改善无数人的生活。我们探讨的是几乎没人愿意看到的极端情况，尤其是开发这些工具的人所不愿看到的。

然而，即使这些情况仅代表极罕见的应用案例，我们也不能忽视它们。在新的技术浪潮下，不法分子有可能造成严重破坏，引发大规模的不稳定。请想象一下，当任何一个具备一定能力的实验室或黑客都能合成复杂的DNA链时，我们离灾难性事件还有多远？

2001年“9·11”事件之后，炭疽菌被用于攻击美国多个机构。这一事件引发了全球对生物恐怖主义的关注。

最终，随着史上最具影响力的技术渗入我们生活的方方面面，极端情况的发生概率也将大幅提升。一定会出现一些问题，其严峻程度和扩散速度都将与技术所蕴含的巨大能力相当。

新技术浪潮的4个特征预示着，如果不在各个层面采取强有力的遏制措施，那么像人为策划的流行病这样的灾难性后果将比以往任何时候都更可能发生。

这是不可接受的。然而，这里存在一个困境：人们同样难以接受那些最为稳妥的技术遏制方案，因为它们可能会将我们引向专制主义和反乌托邦的道路。

一种可能性是，社会转向技术驱动的全面监控模式。这种强制执行的机制，旨在应对那些难以控制或根本不受控制的技术。这是以牺牲自由为代价来换取安全。

另一种可能性是，人们选择彻底远离技术前沿。这种情况不大可能发生，而且这显然并非我们所寻求的解决方案。

从理论上讲，能够应对这一关乎人类未来命运的困境的唯一实体，正是民族国家体系。我们需要它来遏制技术力量，而这一体系正在这些技术力量的冲击下面临崩塌的风险。

随着时间的推移，这些技术的影响将迫使人类在灾难与反乌托邦的两种极端之间探寻一条中间道路。这已成为我们这个时代的根本性困境。

关于即将到来的技术浪潮所带来的风险，人工智能领域的隐患尤其引人关注，而其风险仍在不断攀升。一旦军队实现全面自动化，冲突的发生门槛将会显著降低。

战争可能因某些永远难以明确的原因而意外触发，人工智能系统在检测到特定行为模式或威胁时，可能会立即以势不可当的力量做出反应。可以说，这样的战争将呈现出一种完全陌生的性质，它容易迅速升级，并带来前所未有的毁灭性后果。

chatgpt生成的人机大战场景。

正是基于这样的逻辑，我常听到这类声音：“通用人工智能是人类所面临的最大风险！它将毁灭世界！”然而，当被追问那将是怎样的场景，那一切将如何发生、有多么危险时，人们开始回避，给出含糊不清的回答。

他们认为，人工智能可能会占用所有计算资源，将整个世界变成一台庞大的计算机；随着人工智能不断增强，必须认真思考和减轻那些最极端情况的影响。然而，在我们能够做到这些之前，很多问题可能已经发生。

在未来10年里，人工智能将成为历史上最强大的力量放大器。这就是为什么它将引发大规模的权力重新分配。它将成为人类进步的最大加速器，但也将为战争和事故、恐怖组织、专制政府、权力过度扩张的公司以及公然盗窃和故意破坏等危害行为提供助力。

设想一个能够轻松通过现代图灵测试却用于灾难性目的的通用人工智能。先进的人工智能和合成生物学技术不仅能为那些致力于寻找新能源或研发改善生命的药物的组织所用，也可能成为像特德·卡钦斯基这样的恐怖分子的工具。

人工智能既极具价值，又充满危险，因为它正是人性的最好与最坏方面的延伸。

作为一种基于学习的技术，它能够持续适应、不断探索，生成全新的策略与见解，这些可能远远超出以往的人工智能的考虑范围。无论是要求它提出切断淡水供应的方法、让股市崩溃、触发核战争，还是设计出终极病毒，它都能做到。相较于设想的巨型回形针场景或奇异的科技恶魔，我更担忧的是在未来10年内，人工智能将会放大哪些现有的力量。

如果未能遏制即将到来的技术浪潮，灾难的降临就是迟早的事。

一种自我强化的“人工智能专政”

阻止灾难发生显然是紧迫之事。灾难越大，利害关系越大，对对策的需求也越大。

如果灾难的威胁变得过于严峻，那么政府可能会得出结论，即阻止灾难的唯一方法是严格控制技术的各个方面。这将确保没有任何东西逃过安全警戒线，没有任何失控的人工智能或人造病毒能够被制造、被泄漏，甚至被研究。

技术已渗透到我们文明的方方面面，因此，监控技术就意味着监控一切。每个实验室、工厂、服务器，每段新代码，每串合成的DNA，每个企业和大学，每个隐匿在森林小屋中的生物黑客，每个庞大的匿名数据中心，无一例外。

面对即将到来的技术浪潮所带来的前所未有的复杂局面，为了遏制潜在的灾难，我们必须采取前所未有的应对措施。这不仅要求对一切进行严密监控，还需要保留在必要时制止一切的能力。

一定会有人提出这样的观点：我们应该让权力集中到极端程度，构建全景式的监控体系，对人类生活的方方面面做出细致安排，以确保大流行病或人工智能失控等情况永远不会发生。

许多国家会逐渐说服自己，真正实现这一目标的唯一途径就是实施我们在上一章中所描述的那种全面监控，即由强大技术支持的全面控制。这无疑打开了通往反乌托邦世界的大门。事实上，面对潜在的灾难，对某些人而言，反乌托邦的结果可能会被视为一种解脱。

这些提议目前仍处于边缘地位，特别是在西方社会。然而，在我看来，它们受到更广泛的关注只是时间问题。即将到来的技术浪潮为反乌托邦式的统治提供了动机和手段，即在稳步增加的数据搜集和强制措施的支持下，形成一种自我强化的“人工智能专政”。

只要出现巨大的灾难，人们就会呼吁建立极端的监控设施，以防未来再次发生类似事件。

当技术出现问题时，技术限制和打压措施会在多久后出现呢？在可能面临灾难的压力下，谁又能有效地反对这些措施呢？监控式的反乌托邦机制会在多久后生根发芽，并进一步扩散和深化呢？随着局部的技术失败案例不断累积，加强控制的呼声也会越来越高。

而随着控制的加强，权力的制衡往往会被削弱，这将改变总体的社会趋势，为进一步的权力干预铺平道路。最终，社会将逐渐进入技术反乌托邦状态。

自由与安全之间的权衡是一个古老的两难困境。

我认为，一个完全透明且基于精细监控的压制性社会，不过是另一种失败形态。在这种情境下，即将到来的技术浪潮不会将人类引向繁荣，而是引向繁荣的反面。

每一项强制性的、带有偏见和不公平的技术应用都将被肆意放大。人们来之不易的权利和自由将被剥夺，而对许多国家来说，国家自决权也难免会受到损害。这次被放大的不再是国家的脆弱性，而是彻头彻尾的压迫。

如果我们避免灾难的方式是建立这样的反乌托邦社会，那么这根本不是一个可以接受的方式。

灾难威胁和对安全的渴望将持续推动人们朝着反乌托邦方向前进。每一场技术浪潮都曾为社会秩序带来系统性的冲击。不过迄今为止，以往的技术浪潮尚未带来广泛且系统性的全球灾难风险。

但即将到来的技术浪潮与此前截然不同，这可能促使人类采取一种反乌托邦式的应对方案。

有人认为我们已深陷压制性局面，我想说，与未来可能的景象相比，我们目前的处境根本不算什么。我们当前的路径并非唯一的反乌托邦路径，还有诸多其他潜在的反乌托邦路径。

然而，目前这一路径似乎与即将到来的技术浪潮及其伴随的政治挑战和潜在的灾难性后果直接相关。这并非一个抽象的思想实验。我们必须直面以下问题：技术背后的推动力强大而不可阻挡，人类是否应该暂缓技术的飞速发展？我们是否应该拒绝技术的无节制发展？尽管这种想法看起来不太可能实现，但现在，我们是否应该给技术按下一个暂停键？

停滞：另一种灾难

数百年来，技术的持续发展似乎使社会得以挣脱历史规律的桎梏。然而，认为历史的动态演变已经停滞不前是一种误解。21世纪的文明固然与玛雅文明大相径庭，但庞大且渴望权力的上层建筑、众多的人口、能源供应以及文明发展的硬性限制依然存在；它们所带来的影响只是被暂时抑制了。

假设存在一种情况，即技术的驱动力能够被有效遏制。那么，在这种情况下，我们能否全面暂停技术的发展？答案是否定的，绝对不可能。

现代文明只有依靠持续的技术发展才能兑现其承诺。社会体系存在的前提是能够确保长期的经济增长，这依赖于新技术的发明和推广。

无论是我们期望以更低的成本享受更多的消费，在不增加税收负担的情况下获得更多的公共服务，还是我们认为可以在不断提高生活质量的同时无限制地破坏环境，国家与公民之间的契约（可以说是最重要的契约）也都建立在技术的基础之上。

正如我们所讨论过的，开发新技术是应对地球面临的重大挑战的关键所在。没有新技术的支持，我们将难以克服这些挑战。人力和物质资源的消耗成本不容忽视。

我们目前所拥有的技术组合虽然在很多方面令人惊叹，但并没有明显的迹象表明它们能够可持续地以发达国家的标准支持超过80亿的人口。这一点可能对一些人来说难以接受，但值得强调的是，在不引入新技术的情况下，解决气候变化问题，或维持不断提高的生活和医疗水平，或改善教育和职业机会，都是不可能实现的。

研究发现，美国医疗系统中使用的某些算法系统性地使需要复杂护理的黑人患者处于不利地位。

假设暂停技术发展是可能的，那么从某种意义上说，这将意味着一种安全保障。首先，它将限制新的灾难性风险的出现。然而，这并不意味着我们能成功避开反乌托邦的局面。相反，随着21世纪的社会日益显现出脆弱性和不可持续性，技术的暂停可能会引发另一种形式的反乌托邦。如果没有新技术的支持，一切迟早都会陷入停滞，甚至可能彻底崩溃。

鉴于人口和资源限制，仅仅为了维持现有生活水平，我们可能就需要将全球生产率提高2~3倍。然而，对世界上大部分人来说，仅仅维持现有生活水平仍然是不可接受的。许多国家的儿童死亡率比发达国家要高出12倍。当然，即使只是保持当前的生活水平，也不仅仅意味着人口和资源方面的压力，还将加剧气候紧急状况。

请注意：停滞不前本身就是灾难。

这不仅关乎餐厅劳动力短缺或电池价格昂贵的问题。这意味着现代生活的方方面面都存在崩溃的风险，从而带来一系列深远影响，并与众多本已棘手的问题相互交织。

我认为，人们往往低估了我们的生活方式在多大程度上依赖于持续的技术进步。历史的先例—几乎是每个过往文明的常态，都清晰地揭示了这一点。

在最好的情况下，停滞不前预示着未来的衰败；但更可能的情况是，它将导致令人担忧的崩溃。有些人可能会说，停滞意味着第三种极端情况，使我们面对一个巨大的三难困境。在我看来，这个观点并不成立。

首先，到目前为止，这种路径是最不可能的选择。其次，即使这种情况真的发生了，它也只是以另一种形式呈现了前面所提到的困境。暂停技术发展并非解决之道；其只会导向另一种形态的反乌托邦，另一种形式的灾难。

即使存在可能性，试图阻止即将到来的技术浪潮的想法也并不受欢迎。维持现有生活水平已然离不开技术，更不用说提高生活水平了。同时，防止社会崩溃也需要技术的支持。对技术说“不”的代价可能关乎人类的生死存亡。然而，无论我们以何种态度面对技术，其都伴随着重大风险和潜在负面效应。

这就是我们面临的巨大困境。

接下来，我们该怎么办？

从核时代和数字时代开始，这一困境逐渐凸显。1955 年，在生命的最后阶段，数学家约翰·冯·诺依曼撰写了一篇名为《我们能在技术中幸存吗？》的论文。

他的观点与本书的主旨不谋而合，他认为全球社会“深陷迅速成熟的危机之中—这场危机的根源在于技术进步所必需的环境已经变得过于狭隘且缺乏有序组织”。

在论文的结尾部分，冯·诺依曼将生存视为“一种可能性”，仿佛他正身处自己设计的计算机所造成的“蘑菇云” 阴霾之下。“技术性风险没有任何‘解药’，”他提到，“任何试图为当前爆炸式的进步寻找自动安全通道的尝试都将是徒劳的。”

在技术构建方面，我并非唯一一个既想享受技术带来的诸多益处，又想消除相关风险的人。有些人会嘲笑这种野心，认为它是一种典型的硅谷式狂妄自大。但是我始终坚信技术仍是改善我们世界和生活的主要驱动力。

尽管技术带来了诸多危害、缺陷和意外后果，但总体而言，它的贡献迄今为止仍是较大的。毕竟，即便是技术的最严厉批评者，也不会拒绝使用热水壶、服用阿司匹林、观看电视和乘坐地铁。对于每一支枪，技术提供了一剂救命的青霉素；对于每一条错误信息，技术也协助揭露真相。

然而，不知为何，自冯·诺依曼的时代以来，我和许多人开始对技术发展的长期轨迹感到忧虑。我担心的是，技术呈现出了一种其净收益可能会急剧转变为负值的可能性，而我们却无法阻止这种转变，我们陷入了一种无能为力的困境。

没有人能确切预知这一切将如何展开。由于该困境涉及的因素广泛，其具体结果的规模和性质都难以预测和估量。然而，我坚信，在未来几十年里，社会繁荣、监视与灾难威胁之间的权衡状态将变得更加尖锐。即使是健康状况最好的国家体系，也难以应对这样的困境。

这是人类作为“技术人”所面临的终极挑战。

如果这本书对技术的态度有些自相矛盾，显得部分积极，部分消极，那是因为这种看似矛盾的观点恰恰是对我们当前处境最为诚实的评估。我们的曾祖父母若是在世，定会对我们今日世界的富足感到惊叹，但他们也会对这个世界的脆弱性与危险性感到震惊。

随着新技术浪潮的到来，我们正面临着一个真正的威胁，面临一系列潜在的灾难性后果—这样的风险甚至关乎人类的生死存亡。技术同时代表了人类最好和最坏的方面。任何片面的观点都不足以被称为对技术的客观审视。唯一合理的技术认识论便是同时认识到技术的正负两面。

在过去的10 年里，这一困境越发凸显，摆脱它的任务也变得更加紧迫。审视现实世界，技术遏制似乎难以实现。然而，考虑到那些可能的后果，另一件事情也同样显而易见：为了所有人的利益，我们必须让遏制成为可能。

新书信息

《浪潮将至——技术、权力与未来的冲击》

【作者】穆斯塔法·苏莱曼（Mustafa Suleyman）、迈克尔·巴斯卡尔（Michael Bhaskar）

【出版时间】2024年10月

【书号】978-7-5217-6848-0

【内容简介】

人工智能、生物技术、量子计算……我们正在接近人类历史的一个关键节点，这一节点决定着人类命运的未来走向。我们已被人工智能包围，生活中的一切都将改变。人工智能将组织我们的生活，经营我们的生意，管理核心的政府服务。我们将生活在一个有DNA打印机、量子计算机和机器人助手的能源丰富的世界里。

作为开创性的人工智能公司DeepMind的联合创始人和微软人工智能的CEO，作者穆斯塔法·苏莱曼一直处于这场浪潮的中心。他认为，未来10年将被这一波强大、快速扩散的新技术所定义。在这本书中，苏莱曼以通俗易懂、冷静犀利的笔触，展示了这些力量将如何创造巨大的繁荣，又将如何威胁到作为全球秩序基础的民族国家。他既引领我们了解激进技术变革的历史，又引领我们面对深刻的社会挑战。

这本书为我们提供了一剂现实的镇静剂，逻辑清晰地描述了当前的技术冲击，又不乏新意和趣味，引人深思。

【作者简介】

穆斯塔法·苏莱曼（Mustafa Suleyman），微软人工智能CEO，曾与戴密斯·哈萨比斯等联合创办人工智能公司DeepMind，后任谷歌公司人工智能产品与政策副总裁。2022年，他与领英联合创始人里德·霍夫曼等共同创办了Inflection AI，该公司获得高达13亿美元的投资，估值一举突破40亿美元。2023年和2024年，他两次入选《时代》周刊发布的全球“百大AI影响力人物”榜单。

迈克尔·巴斯卡尔（Michael Bhaskar），作家、数字出版人、咨询顾问和企业家，曾为《卫报》《金融时报》《连线》等撰稿。

郑永年教授最新力作——《中等技术陷阱：经济持续增长的关键挑战》，直面中国科技发展重要议题！

IPP新书｜“技术自由主义” vs “技术民族主义”，中国如何选择？

郑永年 杨丽君：《中国叙事：如何讲好中国故事》，让世界读懂中国模式与价值！

关于IPP

华南理工大学公共政策研究院（IPP）是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作，并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台，成为领先世界的中国智库。