UCL汪军专访：从生命体决策出发，探索智能决策的安全与风险

来源：智源社区

整理：沈磊贤

编辑：李梦佳

导读：我们的日常生活中无时无刻不涉及到决策，如果说感知智能是从观察到发现规律的过程，那么决策智能就是从规律再返回到感知世界，进而改变数据的过程。这样的逻辑可以描述整个生命体的规律，同时也为我们设计通用人工智能提供了方向和思路。

生命体是如何进行决策的？机器在较复杂的决策空间中怎样学习？如今火爆的NLP大模型如何能够帮助我们进行智能决策？针对这些问题，在2022北京智源大会的强化学习与决策智能论坛上，来自伦敦大学学院计算机系的汪军教授作了题为《智能决策大模型》的报告。同时，智源社区也对汪军教授进行了专访，针对该领域内的前沿趋势进行了深入探讨。

汪军，伦敦大学学院计算机系教授，英国艾伦·图灵研究所（The Alan Turing Institute）Fellow。主要研究智能信息系统，包括机器学习、强化学习、多智能体、数据挖掘、计算广告学、推荐系统等。汪军教授目前已发表 200 多篇学术论文，出版两本学术专著，并多次获得最佳论文奖。

决策的机理是什么？

笛卡尔在17世纪作为哲学家和数学家就开始思考人是如何做决策的，当时的科学还是比较落后，笛卡尔给出的解释比较机械，即二元论的观点。笛卡尔认为在大脑中有某个特定的器官，叫松果体，为心灵和肉体之间的交互提供了场所。心灵的东西虽然是无法解释的，但是笛卡尔认为心灵的东西可以控制人体各种各样的行为动作，通过他的导引能够进行一些日常的决策和行动。这是他对人的决策的解释。

松果体

此外，相关研究中另一个理论来解释人甚至生命的思路是“熵增熵减”的原理。整个宇宙是一个熵增的过程，即从有序变无序的状态。假设某个封闭的空间被抽成了真空，在一边划一个裂缝，将气体放进去，慢慢扩散到整个空间，这种气体的扩散就是从有序变成无序的状态。

生命体则相反，吸收能量，是从无序走向有序的状态；于是从人生下来到死亡是一个熵减的过程。人的生活日常其实是在找规律，即使生活环境在变，人内在环境的很多东西是不会变的，比如说身体的体温，身体体液的成分等。所以作为一个生命体，无论外界的情况如何变化，其内部总是希望保持一个恒定的状态。

人工智能技术是人产生的，它必然是帮助我们解决这个不变性问题。从这个角度不难理解作为一个生命体是如何做决策。下图中，假设左侧的整个环境是不可知的，右侧作为一个生命体的简单模型（抑或人工智能体的模型），“他”可以观测到外界的状态，但是无法100%观察到自然界的固有的规律。

基于已有的观测，个体在内部会对真实的世界产生一个估计，代表了个体对外界的理解。当它有这个理解以后，就可以采取行动对外界做出改变，比如人可以改变世界，细胞可以释放出某些物质来与病毒做斗争。外界受影响之后又会出现新的状态，整个过程迭代反复。所以感知智能是从观察到发现规律的过程，决策智能就是从规律再返回到感知世界，进而改变数据的过程。这样的逻辑可以描述整个生命体的规律，同时也为我们设计通用人工智能提供方向和思路。

一个环境和个体交互的简单模型。左边是环境，右边是个体

决策智能

智能决策中主要涉及三个层面：感知、认知和决策。

感知是主观的，是个体的感知，每个人不一样。这就是为什么会有高级动物，会有所谓的艺术等。很多事物难以用语言描述，但可以用其他的方式进行表达，人和人之间会在这种表达中产生共鸣，这是感知的固有规律。

决策背后的机理是什么呢？效用理论 （Utility theory）。是John Von Neumann提出的。他是一位非常著名的数学家，同时也是计算机学科的奠基人物。他同时也创立了Games Theory，在经典的《Games Theory》中他提供了一套数学工具来揭示如何做决策，其本质是优化某一个特定的函数，选择能够最大化函数的值。

智能朴素的理解为从状态到行为的映射，使得长期的受益最优。以经典的巴甫洛夫条件反射实验为例，狗为什么可以跟铃声和食物产生联系，为什么一有铃声它就会产生唾液？那就是因为它学习到了主人敲铃的时候会把这个食物给它，对狗这个生命体来说可以迅速地跑到摇铃处去获取食物，它的行为最优的表现是它可以适应环境获取食物，从长时间来达到它的受益。

决策中的安全与风险

在互联网时代需要做更加精细的决策，安全与风险是其中重要的部分。在这个方面，汪军教授介绍了他带领的华为诺亚实验室伦敦团队2022年发表在ICML上的工作，SAUTE RL。几乎肯定（或以概率为一）的满足安全约束对于在现实应用中部署强化学习 (RL) 至关重要。例如，飞机着陆和起飞在理想情况下应该以概率 1 发生。汪军教授团队通过引入安全增强的马尔可夫决策过程（MDP）来解决这个问题，其中通过将安全约束增强到状态空间并重塑目标来消除安全约束。团队证明了 Saute MDP 满足 Bellman 方程，并更接近于解决几乎肯定满足约束的 Safe RL。

团队认为 Saute MDP 采用了一个不同角度对待安全决策问题。例如，新提出的方法具有即插即用的特性，即任何 RL 算法都可以“炒”。此外，状态增强允许跨安全约束的策略泛化。最终表明，当约束满足非常重要时，Saute RL 算法可以超越其最先进的算法。在下图所示的实验中，可以Saute RL 算法在一些极端的测试下，安全性仍然是绿色的，图中虚线表示100%安全。Saute RL 算法在一些安全性要求较高的场景广泛应用，比如电力、自动驾驶等。

https://arxiv.org/pdf/2202.06558.pdf

另外一个更难的问题是如何保证模型训练安全。汪军教授团队将类似的方法运用到训练中。训练过程中加入一个安全状态，它会记录历史上的操作是否安全，在学习的过程中可以根据安全状态选择安全的路径。

Enhancing Safe Exploration Using Safety State Augmentation, under submission, 2022

小数据的决策：提高样本利用率的贝叶斯优化

决策智能在互联网广告等方面应用广泛，其表现形式丰富多样，如强化学习、运筹优化等，其本质上是一个优化的问题。给定一个目标函数f，如果f是已知的就是白盒优化，如果是未知的则是黑盒优化。优化的目的是找到决策的输入值x，使得函数最大化f。从这个角度来讲，它的应用非常广泛，比如电厂、EDA、医疗抗体等，这些本质上都是黑盒优化的问题。黑盒优化中比较好的方法是贝叶斯优化，允许在优化中试错，从理论上可以保证能够找到全局的最优，同时也尽量减少实验的次数，在数据很稀疏的情况下效果明显。

https://arxiv.org/abs/2012.03826

很多决策的问题可以归根为黑盒优化问题。汪军教授带领的华为诺亚实验室团队2022年发表在DATE上的工作BOiLS则是在EDA上的一次尝试。在逻辑综合（logic synthesis）过程中优化电路的结果质量是一项艰巨的挑战，需要探索指数大小的搜索空间。虽然专家设计的操作有助于发现有效的序列，但逻辑电路复杂性的增加有利于自动化程序。受机器学习成功的启发，很多研究将深度学习和强化学习应用于逻辑综合应用，但是这些技术都因样本复杂性高而无法广泛应用。为了实现高效和可扩展的解决方案，团队提出了BOiLS，这是第一个采用现代贝叶斯优化来导航合成操作空间的算法。BOiLS不需要人工干预，并通过新颖的高斯过程内核和受信任区域约束的采集有效地权衡探索与利用。在EPFL基准的一组实验中， BOiLS 在样本效率和 QoR 值方面明显优于现有技术。

https://arxiv.org/pdf/2111.06178.pdf

另一个例子是有关医疗领域的自动化抗体设计。抗体是典型的Y形多聚体蛋白，能够进行高度特异性的分子识别。位于抗体可变链末端的CDRH3区域支配着抗原结合特异性。因此，设计最佳抗原特异性CDRH3区域以开发治疗性抗体来对抗有害病原体是当务之急。然而，CDRH3序列空间的组合特性使得不可能详尽有效地搜索最佳结合序列。

针对此问题，汪军教授团队提出了AntBO：一种组合贝叶斯优化框架，可实现CDRH3区域的高效计算设计。在理想情况下，抗体应与其靶抗原结合，并且不会产生任何有害结果。因此，团队引入了CDRH3信任区域，它将搜索限制在具有可开发性分数的序列上。为了对AntBO进行基准测试，团队使用 Absolut!软件套件作为黑盒预言机，因为它可以以不受限制的方式在计算机上对设计抗体的目标特异性和亲和力进行评分。188种抗原的结果证明了AntBO在设计具有不同生物物理特性的CDRH3区域方面具有明显优势。在不到200种蛋白质设计中，AntBO可以推荐优于从690万个实验获得的CDRH3最佳结合序列的抗体序列，以及常用遗传算法基线中提取的最佳序列。此外，AntBO仅在38种蛋白质设计中无需领域知识并发现了非常高亲和力的CDRH3序列。所以AntBO使自动化抗体设计方法更接近于体外实验实际上可行的方法。

https://arxiv.org/abs/2201.12570

大数据+大模型的决策：提高泛化能力

在大数据模型中，汪军教授认为多智能体强化学习不是只能应用在游戏中，游戏场景中的关键决策问题可以放大，在游戏场景中将这些技术研究清楚之后就可以应用到各种各样的场景里。针对此问题，汪军教授介绍了组内的近期代表性工作：

汪军教授团队在可训练求解器和数据生成器之间引入了一个two-player zero-sum框架，以提高基于深度学习的求解器对旅行商问题(TSP)的泛化能力。基于Policy Space Response Oracle (PSRO)方法，团队提出的框架输出了一组响应最好的求解器，这些求解器可以混合并输出一个组合模型，该模型对生成器的可利用性最小，从而获得在不同的TSP任务上最普遍的性能。团队对不同类型和大小的各种TSP实例进行了实验。结果表明，即使在求解器从未遇到过的任务上，新提出的求解器也能实现最先进的性能，而其他基于深度学习的求解器的性能由于过度拟合而急剧下降。

https://arxiv.org/pdf/2110.15105

离线强化学习是利用先前收集的离线数据集来学习最佳策略，而无需访问真实环境。考虑到代理之间以及与环境的交互增加，这种范式对于多代理强化学习 (MARL) 任务也是可取的。然而，在 MARL 中，还没有研究过带有在线微调的离线预训练范式，也没有用于离线 MARL 研究的数据集或基准。

汪军教授团队通过提供大规模数据集来促进研究，并使用它们来检查Decision Transformer在MARL环境中的使用，包括以下三个方面对MARL离线预训练的泛化研究：1）单代理和多代理之间，2）从离线预训练到在线微调，3）到少样本的多个下游任务和零射击能力。

团队首先介绍了第一个基于星际争霸II环境的具有不同质量水平的离线MARL数据集，然后提出了用于有效离线学习的多智能体决策转换器（MADT）的新颖架构。MADT利用Transformer的序列建模能力，并将其与离线和在线MARL任务无缝集成。MADT的一个关键作用是它学习了可以在不同任务场景下和不同类型的代理之间转移的通用策略。在星际争霸II离线数据集上，MADT 优于最先进的离线RL基线。当应用于在线任务时，预训练的MADT显著提高了样本效率，并且在少样本和零样本情况下都具有强大的性能。

https://arxiv.org/pdf/2112.02845

GPT 系列和 BERT 等大序列模型（SM）在视觉、语言和最近的强化学习任务上表现出出色的性能和泛化能力。一个自然的后续问题是如何将多智能体决策抽象为一个SM问题并从SM的繁荣发展中受益。汪军教授团队介绍了一种名为 Multi-Agent Transformer (MAT)的新型架构，该架构有效地将协作多智能体强化学习 (MARL)转化为SM问题，其中任务是将智能体的观察序列映射到智能体的最佳动作序列。目标是在MARL和SM之间架起一座桥梁，以便为MARL释放现代序列模型的建模能力。MAT的核心是编码器-解码器架构，它利用多智能体优势分解定理将联合策略搜索问题转换为顺序决策过程。与Decision Transformer 等现有技术仅适合预先收集的离线数据不同，MAT以在线策略方式通过来自环境的在线试验和错误进行训练。为了验证MAT，团队在 StarCraftII、Multi-Agent MuJoCo、Dexterous Hands Manipulation 和 Google Research Football 基准上进行了广泛的实验。结果表明，与包括MAPPO和HAPPO在内的强大基线相比，MAT实现了卓越的性能和数据效率。

https://arxiv.org/pdf/2205.14953.pdf

总结

汪军教授主要介绍了智能决策的问题和方法，同时也探讨了NLP大模型对智能决策泛化性带来的好处，且单智能体已经无法满足现有的应用需求，未来还需要在多智能体上进行长期的探索。

Q&A

您一开始是如何进入强化学习领域的？

推荐系统、搜索系统，互联网广告系统等领域本质上是一个决策的过程，根据历史数据预测用户的喜好等。决策智能是让机器来帮助人类进行更加智能的决策。我们发现强化学习是对决策系统的一种数学的表达和框架，当然要包括贝叶斯优化和其他形式。所以我们就对强化学习产生了兴趣，并进一步应用到推荐系统等领域。

强化学习最吸引人的地方在哪儿？

内部原因是任何研究都需要一个well-defined的问题，决策是一个长期研究的问题，我们发现强化学习和决策在本质上相通，可以利用强化学习来解决一些决策问题。外部原因是AlphaGo等一系列工作的成功促使我们去研究强化学习。强化学习也催生了很多分支，比如多智能体强化学习，博弈论和机器学习相结合的强化学习在经济学上的应用等。我们对这些新的问题都很感兴趣。

学术界近期有哪些强化学习工作值得关注？

安全鲁棒性是一个重要的工作，DeepMind将CV，NLP和强化学习结合在一起具有很好的前瞻性，这种跨模态，跨领域的问题值得关心。强化学习和优化的结合可以在现实中广泛应用，如EDA，电力工厂决策，医疗抗体设计等。强化学习通过跨任务的大模型可以解决一系列的问题的任务群。

您过去一段时间内的研究兴趣和研究进展是？

我们并不是一定要做强化学习，只要是和决策智能相关的有价值的问题我们都会做，比如决策的安全性，我们在华为诺亚实验室里做了安全鲁棒性相关的工作，以及一些多智能体强化学习和大模型的工作。

多智能体强化学习未来有哪些应用？

一个重要的方向是应用在机器人上，但是未来需要重点考虑与人的交互。游戏也是一个重要的应用，在游戏中学习的普适性问题可以广泛应用到其他领域。另一个值得关注的方向是大模型的应用，多智能体也是一个sequence问题，可以用大模型中的离线训练方法来提升性能。

您担任伦敦大学学院计算机教授，相比于中国和美国，英国的AI研究有何特色？

大家熟知的英国AI研究可能是DeepMind，其实还有其它高校研究也非常活跃。英国整体的AI研究实力很强。英国的学术氛围很好，由于语言的优势，很多欧洲的研究者都会到英国来进行研究。欧洲其他国家，比如德国，可能会更偏工业性一点，学术上可能没有那么重视，但是英国就不会存在这些问题。英国的很多高科技企业和资本以及高校的结合会产生一些不一样的工作，具有一个比较好的研究土壤，因为他可以吸引整个欧洲的AI人才，使得研究质量和影响力是其他地区无法比拟的。

目前CV和NLP研究火热，决策智能研究热度较低，青年学者应该如何选择研究方向？

我不觉得决策智能的研究热度较低，主流的机器学习会议每年会产生很多和决策智能相关的论文，虽然相比于CV和NLP要弱一些，但是目前呈现上升的趋势。决策智能拥有很多的落地场景和学术研究问题，青年学者如果想做一些有前瞻性的工作，可以考虑在决策智能领域展开研究。我们每年夏天会组织一个强化学习研讨会RLChina (http://rlchina.org)，会邀请学术界和工业界的大牛来全面地介绍相关工作，也会邀请投资人和创新公司来探究技术落地地可能性，所以我们这一系列工作也是为青年学者搭建一个交流和学习地平台。

为什么英国可以孕育出DeepMind这样优秀的AI企业？

我认为一个重要的原因是英国可以吸收整个欧洲的AI人才。另一个原因是人才眼界的问题，他们在研究上的能力很强，更愿意做一些突破性的工作，敢于比别人更早地问一些前瞻性地问题，敢于承担一定的风险。此外，他们一般没有考核性的论文指标，不是paper-driven地工作，可以相对自由地去探索问题。

您认为做研究最珍贵的品质是什么？

创新性是必须的，另外一个是学术品位，特别是了解什么问题不应该去做，要做一些长期性和前瞻性的问题，而且问问题比做问题更重要。自己能够定一个方向，然后长期地进行探究。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。