55万台英伟达H100够今年用吗？

在英国《金融时报》最近的一篇文章中提及，英伟达期望在2023年，其最新的H100 GPU全球出货达到55万台。对GPU的需求显然来自生成式人工智能（GenAI）的繁荣，但HPC（高性能计算）市场也在争夺这些加速器。目前尚不清楚这个数字是否包括针对中国市场的A800和H800。

大部分GPU将流向美国科技公司，但文章指出，沙特阿拉伯已经购买了至少3000个Nvidia H100 GPU，阿联酋也购买了数千个Nvidia芯片。阿联酋已经在阿布扎比马斯达尔市的国有技术创新研究所开发了自己的开源大型语言模型，名为Falcon（猎鹰），使用384个A100 GPU。

旗舰H100 GPU（14592个CUDA内核，80GB HBM3容量，5120位内存总线）的价格高达30000美元（平均），英伟达首席执行官黄仁勋称之为第一款为生成式人工智能设计的芯片。沙特大学正在建造自己的基于GPU的超级计算机，名为Shaheen III。它采用700个Grace Hopper芯片，将Grace CPU和H100 Tensor Core GPU结合在一起。这些GPU正被用来创建一个LLM，该LLM是由中国研究人员开发的。

与此同时，围绕GenAI的投资继续为GPU基础设施的购买提供资金。据报道，2023年前6个月，GenAI初创企业的资金比2022年全年增长了5倍多，自2022年第三季度以来，用于生成式人工智能基础设施的资金已超过70%。

H100的价格因其包装方式以及购买的数量而异。H100 PCIe卡目前（2023年8月）的零售价约为30000美元（交付周期也可能有所不同）。

粗略估计，2023年的基础硬件市场支出为165亿美元，其中很大一部分将流向英伟达。

英伟达的合作伙伴台积电几乎无法满足巨大的GPU需求。GPU需要更复杂的CoWoS制造工艺（Chip on Wafer on Substrate：台积电的“2.5D”封装技术，多个有源硅管芯，通常是GPU和HBM堆栈，集成在无源硅中介层上。）使用CoWoS增加了复杂的多步骤、高精度工程工艺，减缓了GPU的生产速度。

英伟达DGX系统副总裁兼总经理Charlie Boyle证实了这一情况。他表示，延迟不是因为台积电的需求计算错误或晶圆产量问题，而是因为CoWoS芯片封装技术。