大模型“瞎说”“乱想”？科学家指路“通专融合”

“如果一直顺着通用大模型这条路线往前走，基本上是沿着包括Meta、谷歌等企业的既有路径，朝着几十万卡的规模去购买显卡，那意味着我们要与这些企业去做这样的资源竞争，这不见得是一条最合适我们去走的路。”在7月4日下午的2024世界人工智能大会·科学前沿全体会议期间，上海人工智能实验室领军科学家欧阳万里对记者表示。

大模型的泛化能力有时能点燃奇思妙想的灵光，有时也因为瞎说和乱想成为使用者的烦恼。

在这场会议上上海人工智能实验室主任、清华大学惠妍讲席教授周伯文提出，“通专融合”是通往AGI的战略路径，即构建一个既具有泛化性又具备专业能力的AI系统，与目前的大模型相比，这种系统可以更高效、更好地适应并解决现实世界中的复杂问题。

对于“通专融合”这条路，欧阳万里解释道，在这背后，对于要赋能的关键行业来说，有一个不错的通用大模型，再加上在关键领域有专业能力的专业模型一起来配合，那可能会是另外一条路径，在我们需要的这些关键领域能够走得更远、走得更快的一条路。

过去两年，以ChatGPT为代表的大模型引领了通用人工智能的高速发展，一方面大模型的确在智能涌现能力上不断提升，并从语言快速向多模态、具身智能发展，另一方面，大模型带来了算力、数据、能耗的挑战，在应用上泛化能力、幻觉问题仍然是很大的两个瓶颈。大模型很多时候回答过程中会出现事实性的错误，同时即便是最强大的GPT-4在真实场景中还存在很多局限。

周伯文表示，在2017年Transformer提出以后，大模型在泛化能力上“狂飙”，但此前擅长的专业能力进步缓慢。

回顾历史，2017年以前，人工智能在专业能力上发展迅猛。从“深蓝”到“阿尔法围棋”，AI棋手先后击败了国际象棋和围棋世界冠军。那时，人工智能面临的巨大挑战是不具备泛化能力，只在一些特定任务上表现突出。

而随着Transformer架构2017年问世， ChatGPT等大模型在泛化能力上突飞猛进，表现出触类旁通的“涌现”能力，让很多人相信：通用人工智能时代即将到来。对于这种乐观预测，周伯文认为，目前的大模型在专业能力上进步缓慢，且在迭代过程中消耗了巨大的能源、数据等资源。

OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）曾坦言，GPT-4的专业能力大概相当于10%—15%的专业人士，即使迭代到GPT-5，其专业能力预计也只会提高4—5个百分点。这意味着，OpenAI将用指数级的能源消耗增长换来缓慢的专业能力提升。

周伯文判断，人工智能AGI落地会有一个高价值区域，同时要求模型兼备很强的泛化能力和足够的专业性，这是通专融合的价值引爆点，“根据对历史生产力提升的分析，我们认为处在这个点的大模型，在专业能力上应超过90%的专业人才，同时具备强泛化能力，谁先进入高价值区域，即意味着谁的能力更强，拥有更多的场景和数据飞轮。”

作为一种新的人工智能发展范式，“通专融合”将大模型的泛化能力与专业能力紧密结合，这背后的技术架构是模拟人脑的系统1与系统2——系统1是人脑的快速决策，反映的是长期训练下的专业能力；系统2是慢系统，体现的是深度思考下的泛化能力。

在圆桌环节中，中国工程院院士，国家流程制造智能调控技术创新中心钱锋表示，当下通用大模型最大的挑战是泛化能力以及不可解释性，在克服这两个挑战时，垂直领域的专用模型正好是一个补充，因为专用模型通常有一定的可解释性。通用模型既要前沿探索、不断创新，同时还要考虑实现价值，“通专”结合。

对于科学发现领域，“通专融合”也有着潜在价值。2023年初，Nature曾发表过一篇封面文章，展示了对科研论文发展现状的悲观态度，指出“科学进步正在‘降速’”。文章认为，近年来科研论文数量激增，但没有颠覆性创新。因为科学本身的发展规律便是不断深入，每个学科形成了信息茧房，不同学科之间壁垒增加。对于顶尖科学家来说，即使穷尽一生也没有办法掌握一个学科所有的知识。

在这方面，周伯文认为，“通专融合”能够有所作用。由于大模型内部压缩着世界知识，同时具备不确定性生成的特性，因此有可能帮助打破不同学科领域知识茧房，促进科研知识发现，并且能够提出新的有价值的未知假设。

“我们认为大模型的不确定性和幻觉生成，并不总是它的缺陷，而是它的一个特点。合理利用这种特点，通过人机协同有助于促进科研创新。”周伯文表示，就人类科学家而言，通过“做梦”找到研究思路的例子也不胜其数，最典型的就是，德国有机化学家奥古斯特·凯库勒梦见衔尾蛇，进而发现了苯环结构。

此前上海人工智能实验室团队探讨了大模型在生物医学领域的知识发现问题，针对最新的医学文献构建知识发现测试集，并对于最先进的大模型进行评测，他们发现大模型能够提出新的生物医学知识假设，并在最新的文献中得以验证。