预处理过时了？GPU专家谈深度学习未来

芯东西5月11日消息，美国GPU加速方案供应商D2S的董事长兼CEO Aki Fujimura认为，因为通用图形处理单元（GPU）的计算能力已经进入新时代，深度学习（DL）可以不必花费大量的时间进行预处理。有时“浪费”一些算力可以减轻程序员的负担，带来“编程自由”。

他解释称，在算力足够的前提下，GPU即使处理所有数据也比预处理花费的时间更少，在减轻负担的同时也会提升计算效率。

Aki Fujimura曾在麻省理工获得电气工程学士学位和硕士学位，之后他在美国电子设计巨头Cadence Design Systems担任过首席技术官（CTO）。此外，Aki Fujimura还在多家企业担任过高管职位。

一、芯片技术不断提升，GPU算力持续增长

2000年前后，通用图形处理单元（GPU）出现，这意味着图像处理技术的快速发展。黄仁勋开始带领英伟达将GPU用于天气、自动驾驶、半导体制造等各个领域。

在22nm和28nm芯片可以满足很多应用的情况下，有很多的晶圆厂专注于继续优化这些成熟的制程工艺。但是高性能计算、智能手机等领域仍然渴望更多的计算能力和速度，台积电、三星等头部晶圆制造厂商也在加大投资，推动先进制程发展，使芯片制程变为3nm、2nm乃至更加先进。

随着芯片技术的不断进步，GPU的位宽不断加大，其计算能力也在一直上涨。

这种情况下，有计算机科学家称：“计算能力将很快不再是限制条件。”GPU在物联网设备中的流行，也在某种程度上证明了GPU算力的充足。

之前，曾有机器学习领域的研究人员提出，只要计算速度够快，没有人会在意数据与权重从内存移动到处理单元，再将中间结果存储回内存需要花费多长时间。

现在，虽然还是有很多研究集中在如何避免浪费计算能力上，但是也有一些工作开始探讨如何在无限的计算能力下实现运算。有研究人员开始认为，在算力资源较为丰富的情况下，可以浪费部分算力资源来提升效率，这部分浪费是一种“有用的浪费”。

Aki Fujimura提到，这种“有用的浪费”看起来可能比较矛盾。可是在计算中，它体现了重要、新兴的一类计算方法，即一开始就将算力假设为无限。现在，这类方法利用GPU丰富的算力使之前无法编写的程序成为可能，Aki Fujimura认为，这可能将成为计算的未来。

二、“蛮力计算”将加速数据处理速度，减轻程序员负担

在过去的十年中，人工智能（AI）解决方案层出不穷，深度学习（DL）的迅速崛起，大大推动了AI技术的发展。

深度学习是用于建立、模拟人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据的一种机器学习技术。它的基本特点是试图模仿大脑的神经元之间传递，处理信息的模式。

此前的编程方法旨在教会计算机“思考”（例如，使用if/then/else等逻辑语句），并且需要通过预处理数据来确定什么是“重要的”，只向处理器发送“有价值的数据”进行计算，从而节约算力资源。

不过，为了做到这一点，使用者需要花费大量时间和精力来确定哪些计算资源是浪费的，确定后还要使用近似值来运行算法，而有时这种近似值会影响处理结果。

Aki Fujimura称，深度学习则是通过训练数十万、百万、上亿个数据，来教会计算机“识别”。在“有用的浪费”这一思想指导下，深度学习可以跳过预处理阶段，将全部数据发送给GPU，进行“蛮力计算”。在算力足够的情况下，即使GPU处理的所有数据也会比预处理排除部分数据更快。因此深度学习非常适合基于GPU的计算。

这种新的方法不仅可以大幅提升计算速度，也减轻了程序员的负担。这让程序员不用花费大量时间对计算机进行预处理，使他们有更多的精力探索体系结构问题，而不是去思考计算逻辑。

最后，Aki Fujimura强调，基于GPU的“蛮力计算”，或许会为该行业带来“编程自由”。

结语：GPU算力提升或加快AI进步

由于神经网络需要的计算量非常大，在很长时间里由于基础设施技术的限制该技术的进展并不大。但GPU的出现则打破了这一困境，也造就了深度学习的蓬勃发展。

当今，随着芯片技术的不断进步，GPU算力也在不断提升。上个月，英伟达的A100 GPU在数据中心基准测试中，性能表现相较CPU高出17-314倍。未来，GPU算力的提升，很可能会加速AI技术的发展，通过算力简化程序开发者的负担。

来源：EE Times