网易首页 > 网易号 > 正文 申请入驻

全球最大AI超算内部首次曝光!马斯克19天神速组装10万块H100,未来规模还将扩大一倍

0
分享至


新智元报道

编辑:静音

【新智元导读】一文揭秘全球最大AI超算,解析液冷机架和网络系统的创新设计。这台全球最大AI超算Colossus由xAI和英伟达联手建造,耗资数十亿,10万块H100仅半个多月搭建完成,未来规模还将扩大一倍!

两个月前,马斯克才刚刚自曝了xAI的Colossus超算,称其是世界上最强大的AI训练系统。

最近,马斯克又宣布了一条振奋人心的消息——集群即将扩展到20万张H100/H200显卡!


同时,ServeTheHome也发布了一条15分钟的视频,公布了这台超算的详情!

来自ServeTheHome的Patrick Kennedy带着摄影机探访了这台超级计算机

这台全球最大的AI超级计算机Colossus位于美国田纳西州孟菲斯,配备了10万个英伟达Hopper GPU,并由英伟达Spectrum-X以太网提供网络传输支持。

目前,Colossus的第一阶段建设已完成,集群全面上线,但这并不是终点。它将很快迎来升级,GPU容量将翻倍,新增5万块H100 GPU和5万块下一代H200 GPU。

Colossus正在用于训练xAI的Grok,并为X Premium订阅用户提供聊天机器人功能。


在训练超大规模的Grok时,Colossus展现了前所未有的网络性能。在网络结构的所有层级中,系统在流量冲突的情况下没有经历任何应用延迟降级或数据包丢失。

通过Spectrum-X拥塞控制,它保持了95%的数据吞吐量。这种性能水平无法通过标准以太网实现,标准以太网在传输中会产生数千次流量冲突,数据吞吐量仅能达到60%。

由于保密协议的限制,这台超级计算机的一些细节并没有透露。不过,像Supermicro GPU服务器等关键部件的介绍在视频中都有所涉及。

液冷机架


Colossus集群的基本构建单元是Supermicro液冷机架。

每个机架包含八台4U服务器,每台服务器配备八个英伟达H100,共计64个GPU。

八台此类GPU服务器再加上一个Supermicro冷却分配单元(CDU)及相关硬件,构成了一个GPU计算机架。

这些机架以八台为一组排列,共512个GPU,并通过网络连接,形成更大系统中的小型集群。


xAI使用的是Supermicro 4U通用GPU系统。

这是目前市面上最先进的AI服务器,有2个原因:其一是它的液冷程度;其二是设备的可维护性。

该系统被放置在托盘上,无需将系统从机架中移出即可维护。1U机架分流器可为每个系统引入冷却液并排出温热液体。快速断开装置让液冷系统可以迅速移除,甚至可以人工单手拆装;移除后,托盘即可拉出以便维护。

下图是一张该服务器原型的照片,展示了这些系统的内部构造。


SC23展示的Supermicro 4U通用GPU系统:支持液冷英伟达HGX H100和HGX 200

上图SC23原型中的两个x86 CPU液冷模块相对常见。

特别之处在于右侧:Supermicro的主板集成了几乎所有HGX AI服务器中使用的四个Broadcom PCIe交换机,而非将其单独安装在另一块板上。Supermicro为这四个PCIe交换机设计了定制液冷模块。

其他AI服务器通常是在风冷设计的基础上加装液冷,而Supermicro的设计则完全从零开始,为液冷而打造,且所有组件均来自同一供应商。

打个通俗的比方,这类似于汽车——有些车型先设计为燃油车,之后再安装电动动力系统,而有些车型从一开始就是为电动车设计的。这款Supermicro系统就属于后者,而其他HGX H100系统则属于前者。

Patrick怒赞道:测评了各种各样的液冷系统设计,这款Supermicro系统遥遥领先于其他系统!

网络系统

这里的每条光纤连接速率为400GbE,是常见1GbE网络速率的400倍。此外,每个系统拥有9条这样的连接,意味着每台GPU计算服务器的带宽达到约3.6Tbps。

打个比方,如果1GbE的普通家庭网络好比是一条单车道公路,那这个400GbE就像是一条拥有400车道的高速公路。而每个系统有9条这样的「高速公路」,相当于每台GPU计算服务器拥有9条这样的超宽带公路,总带宽达到3.6Tbps。

这个带宽甚至超过了2021年初顶级Intel Xeon服务器处理器在所有PCIe通道上所能处理的连接总量。

GPU的RDMA网络构成了该带宽的大部分。每个GPU都有自己的NIC。


在这里,xAI使用英伟达BlueField-3 SuperNIC和Spectrum-X网络。英伟达的网络堆栈中加入了一些独特技术,可以帮助数据绕过集群中的瓶颈,确保数据准确地传输到指定位置。

这是一个重大突破!许多超级计算机网络使用的是InfiniBand或其他技术,而这里采用的是以太网。

以太网是互联网的骨干,因此它具有极强的扩展性。这些庞大的AI集群已扩展到一些更小众技术未能触及的规模。对于xAI团队而言,这确实是一个大胆的举措。


除了GPU的RDMA网络外,CPU也配备了400GbE连接,但使用完全不同的交换结构。xAI为其GPU和集群的其余部分分别配置了独立的网络,这在高性能计算集群中是非常常见的设计。

除了高速集群网络外,还有低速网络用于管理接口和环境设备,这些都是此类集群的重要组成部分。

参考资料:

https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/3/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
博主质疑《上甘岭》台词出现“深圳”,遭打脸:此地名始见明朝,1931年设镇

博主质疑《上甘岭》台词出现“深圳”,遭打脸:此地名始见明朝,1931年设镇

不掉线电波
2024-10-31 10:12:11
辣手!沪上别墅横生“巨无霸”级“后厢房”,比主体建筑还要宽!两年了还在“造”

辣手!沪上别墅横生“巨无霸”级“后厢房”,比主体建筑还要宽!两年了还在“造”

新民晚报
2024-10-31 14:09:35
国防部:“台独”武装那点儿事不难掌握

国防部:“台独”武装那点儿事不难掌握

界面新闻
2024-10-31 16:11:06
伊万卡迎来43岁,犹太裔丈夫打破沉默,回应特朗普如若获胜的打算

伊万卡迎来43岁,犹太裔丈夫打破沉默,回应特朗普如若获胜的打算

译言
2024-10-31 07:44:03
崔永熙:国家仇恨永世不能忘 但同为亚洲篮球运动员 我很尊重河村

崔永熙:国家仇恨永世不能忘 但同为亚洲篮球运动员 我很尊重河村

直播吧
2024-10-31 14:17:11
特朗普丢掉了宾夕法尼亚州?特朗普2024竞选大势已去了吗?

特朗普丢掉了宾夕法尼亚州?特朗普2024竞选大势已去了吗?

叒女紫121
2024-10-31 11:28:49
阿斯利康中国总裁在华配合调查?外交部:中国政府依法保障在华外企合法权益

阿斯利康中国总裁在华配合调查?外交部:中国政府依法保障在华外企合法权益

澎湃新闻
2024-10-31 15:30:26
只有美以投下反对票 联大第32次要求美国终止封锁古巴

只有美以投下反对票 联大第32次要求美国终止封锁古巴

新京报
2024-10-31 07:25:03
淮北市选出新市长

淮北市选出新市长

鲁中晨报
2024-10-31 15:14:07
中俄签巨额订单!055大驱的发动机,中国一次性卖给俄罗斯20台

中俄签巨额订单!055大驱的发动机,中国一次性卖给俄罗斯20台

常高俊April工作室
2024-10-31 11:18:17
中国篮球巨变 姚明临时替代者出炉 名记预测王芳成新掌门候选

中国篮球巨变 姚明临时替代者出炉 名记预测王芳成新掌门候选

厝边人侃体育
2024-10-31 12:41:07
成都上演老实人的愤怒了

成都上演老实人的愤怒了

清晖有墨
2024-10-30 20:36:10
外媒:俄罗斯政府对谷歌的罚款已成天文数字,远超全球GDP总和

外媒:俄罗斯政府对谷歌的罚款已成天文数字,远超全球GDP总和

环球网资讯
2024-10-31 10:02:11
美国大选突发意外,民主党“大金主”临阵倒戈,特朗普胜率再提升

美国大选突发意外,民主党“大金主”临阵倒戈,特朗普胜率再提升

碳基生物关怀组织
2024-10-30 19:45:02
最强地级市发改委、商务局“一把手”到任

最强地级市发改委、商务局“一把手”到任

江苏城市论坛
2024-10-31 17:04:38
窦骁噶蛋自宫的瓜!

窦骁噶蛋自宫的瓜!

八卦疯叔
2024-10-31 11:34:30
苹果8,陪伴我6年,三年大学,三年工作,越用越顺滑。

苹果8,陪伴我6年,三年大学,三年工作,越用越顺滑。

人情皆文史
2024-10-31 00:08:38
狗血!婚前几天新郎约人开房,超美新娘愤而拒婚!毁三观现场曝光

狗血!婚前几天新郎约人开房,超美新娘愤而拒婚!毁三观现场曝光

新动察plus
2024-10-31 13:51:25
钟睒睒要求农夫山泉内部立下“军令状:抢不回市场份额 整个包装水部门都“下课”

钟睒睒要求农夫山泉内部立下“军令状:抢不回市场份额 整个包装水部门都“下课”

闪电新闻
2024-10-31 10:35:29
他任正部级新职!今年至少已有19位正部级履新

他任正部级新职!今年至少已有19位正部级履新

上观新闻
2024-10-31 12:29:06
2024-10-31 17:18:44
新智元
新智元
AI产业主平台领航智能+时代
11694文章数 65640关注度
往期回顾 全部

科技要闻

任正非:华为要向美国学习开放、包容

头条要闻

武契奇:谈及俄乌停火倡议 普京用一句话挡了回去

头条要闻

武契奇:谈及俄乌停火倡议 普京用一句话挡了回去

体育要闻

中国足球,再也换不了肖智

娱乐要闻

刘大锤曝两对明星偷偷领证结婚

财经要闻

减持!李嘉诚又出手了

汽车要闻

宋PLUS有对手啦?15万插电混动SUV又一新选择

态度原创

本地
艺术
手机
房产
公开课

本地新闻

云游中国|我与这座城市 合得来 不怕肥

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

手机要闻

高通骁龙 8 至尊版芯片运行《荒野大镖客:救赎》:帧率 200 FPS

房产要闻

最新!销售额破千亿,面积激增22万㎡!海南楼市还是猛!

公开课

AI如何揭开大自然和宇宙的奥秘

无障碍浏览 进入关怀版