5年后AI所需算力超100万倍！十二家机构联合发表88页长文：「智能计算」是解药

新智元报道

编辑：LRS

【新智元导读】AI模型所需算力每100天就要翻一倍，远超摩尔定律的18-24个月，智能计算能破局这种算力困境吗？

人工智能就是一个「拼财力」的行业，如果没有高性能计算设备，别说开发基础模型，就连微调模型都做不到。

但如果只靠拼硬件，单靠当前计算性能的发展速度，迟早有一天无法满足日益膨胀的需求，所以还需要配套的软件来协调统筹计算能力，这时候就需要用到「智能计算」技术。

最近，来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文，首次对智能计算领域进行了全面的调研，涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。

论文链接：https://spj.science.org/doi/10.34133/icomputing.0006

这也是第一篇正式提出智能计算的定义及其统一理论框架的评论文章，全文结构如下。

AI开启大规模算力时代

人类社会正在从信息社会进入智能社会，计算已经成为规范和推动社会发展的关键因素。在万物互联的数字文明新时代，传统的数据计算远远不能满足人类对更高智能水平的日益增长的需求。

人们对智能计算的兴趣日益浓厚，加上计算科学的发展，对物理世界的智能感知，以及对人类意识认知机制的理解，共同提升了计算的智能水平，加速了知识的发现和创造。

近年来，计算和信息技术快速发展，由于深度学习的空前普及和成功，人工智能（AI）已被确立为人类探索机器智能的前沿领域，并在此基础上取得了一系列突破性的研究成果，包括：

Yann LeCun提出的卷积神经网络（CNN）；Yoshua Bengio在深度学习的因果推理领域的贡献；Geoffrey Hinton，人工智能的先驱之一，在2006年提出了深度置信网络（Deep Brief Network）模型和反向传播优化算法。

J̈urgen Schmidhuber提出了广为使用的循环神经网络（RNN）和长短期记忆（LSTM），并成功用于处理序列数据，如语音、视频和时序数据。

2016年3月，DeepMind推出的人工智能围棋程序AlphaGo与世界顶级人类围棋大师李世石展开对战，引起了全世界前所未有的关注，这场划时代的人机大战以人工智能的压倒性胜利而告终，并成为将人工智能的浪潮推向一个全新的高度的催化剂。

人工智能的另一个重要推动者是大型预训练模型的出现，这些模型已经开始广泛用于自然语言和图像处理，在迁移学习的帮助下处理各种各样的应用。

例如，GPT-3已经证明，一个具有高度结构复杂性和大量参数的大型模型可以提高深度学习的性能，在GPT-3的启发下，涌现了大量的大规模深度学习模型。

智能和计算

计算能力是支撑智能计算的重要因素之一。

鉴于信息社会中天文数字般的数据源、异构的硬件配置和不断变化的计算需求，智能计算主要通过垂直和水平架构来满足智能任务的计算能力要求。

垂直架构（vertical architectures）的特点是同质化的计算基础设施，主要通过应用智能方法提高资源利用效率来提升计算能力。

相比之下，水平架构（horizontal architecture）协调和安排异构和广域（wide-area）计算资源以最大限度地提高协作计算的效率。

例如，2020年4月，为了应对全球COVID-19研究的计算需求，Folding@home在三周内联合40万名计算志愿者实现了2.5Exaflops的计算量，比世界上任何一台超级计算机的计算能力都要强。

尽管在智能和计算方面已经取得了巨大的成功，但这两个领域仍然面临着一些难题。

智能的挑战

使用深度学习的人工智能目前在可解释性、通用性、可进化性和自主性方面仍没有解决。

目前的大多数人工智能技术与人类智能相比，只能发挥微弱的作用，而且只在特定的领域或任务中发挥作用，实现强大且通用的人工智能仍有很长的路要走。

最后，从基于数据的智能升级到更多样化的智能形式，包括感知智能、认知智能、自主智能和人机融合智能等，也存在重大的理论和技术挑战。

计算的挑战

数字化浪潮带来了前所未有的应用、连接、终端和用户的增长，以及产生的数据量，都需要巨大的计算能力。

例如，人工智能所需的计算能力每100天翻一番，也就是说，预计在未来五年内将增加超过100万倍。

随着摩尔定律逐渐失效，要跟上如此快速增长的计算能力要求变得很有挑战性。

摩尔定律：集成电路上可容纳的晶体管数目，约每隔两年便会增加一倍

智能社会中的大规模任务的处理依赖于各种具体计算资源的有效组合，传统的硬件模式不能很好地适应智能算法，极大限制了软件的发展。

何为智能计算？

时至今日，仍然没有一个被广泛接受的智能计算定义。

一些研究人员将智能计算视为人工智能和计算技术的结合，但这种观点将智能计算的定义限制在人工智能领域内，同时忽略了人工智能固有的局限性以及人类、机器和事物之间三元互动的重要作用。

另一个学派将智能计算（intelligent computing）视为计算智能（computational intelligence），模仿人类或生物智能来实现解决特定问题的最优算法，并将智能计算主要视为一种算法创新。

在这篇论文中，研究人员从解决复杂的科学和社会问题的角度提出了智能计算的新定义，同时考虑到世界的三个基本空间，即人类社会空间、物理空间和信息空间的日益紧密融合。

Intelligent Computing的定义

智能计算是指在支持世界互联的数字文明时代，包含了新的计算理论方法、架构系统和技术能力的领域。智能计算根据具体的实际需要，以最小的成本完成计算任务，匹配足够的计算能力，调用最好的算法，并能获得最佳的结果。

智能计算的新定义是针对人类社会、物理世界和信息空间三者融合中快速增长的计算需求而提出的。智能计算以人为本，追求高计算能力、高能效、高智能、高安全。

其目标是提供普遍、高效、安全、自主、可靠和透明的计算服务，以支持大规模复杂的计算任务。 图1显示了智能计算的总体理论框架，它体现了支持人类-物理-信息整合的各种计算范例。

首先，智能计算既不是现有计算机、云计算、边缘计算以及其他计算技术（如神经形态计算、光电计算和量子计算）的替代品，也并非是简单整合。相反，它是一种计算形式，通过根据任务要求系统地、全面地优化现有的计算方法和资源来解决实际问题。

相比之下，现有的主要计算学科，如超级计算、云计算和边缘计算，属于不同的领域：超级计算旨在实现高计算能力，云计算强调跨平台/设备的便利，而边缘计算则追求服务质量和传输效率。

智能计算动态地协调边缘计算、云计算和超级计算领域之间的数据存储、通信和计算，构建了各种跨领域的智能计算系统，支持端到端的云协作、云间协作和超级计算互联。

智能计算应当充分利用现有的计算技术，更重要的是促进新的智能计算理论、架构、算法和系统的形成。

其次，智能计算概念的提出是为了解决未来人类-物理-信息空间融合发展中的问题。

随着大数据时代信息技术应用的发展，物理空间、数字空间和人类社会之间的界限已经变得越来越模糊。

人类世界已经演变成一个新的空间，其特点是人类、机器和事物的紧密融合，社会系统、信息系统和物理环境构成了一个动态耦合的大系统，在这个系统中，人、机器和事物以高度复杂的方式整合和互动，这促进了未来新计算技术和应用场景的发展和创新。

参考资料：

https://spj.science.org/doi/10.34133/icomputing.0006