网易首页 > 网易号 > 正文 申请入驻

NVIDIA Spectrum-X 加速大规模 AI 工作负载优化

0
分享至

在当今迅速发展的技术格局中,保持领先地位不仅仅是一个目标,更是一个必要条件。创新浪潮,尤其是 AI 领域的创新,正在推动整个技术堆栈的巨大变革。

以太网(Ethernet)网络是见证深刻变革的领域之一,这是数字通信的基石,数十年来一直是企业和数据中心环境的基础。

如今,每个数据中心都在加速,以支持现代 AI 工作负载,从而增加了对支持这些工作负载的基础设施的需求。许多企业已经非常熟悉 Ethernet,将其作为可信网络标准。然而,他们缺乏一种高效的解决方案以使用 Ethernet 协议来充分支持 AI 工作负载的特性。

NVIDIA 深刻承诺理解和响应客户不断变化的需求并据此驱动持续创新,确保我们的解决方案不仅满足而且可以预测并超过客户的预期。

NVIDIA Spectrum-X是全球首款高性能以太网架构,旨在实现不仅仅是增量的改进。它代表着重大飞跃,确保以太网在数据呈指数级增长的时代仍然是一种可靠的、面向未来的技术。

从概念到实现的性能

由于 AI 工作负载需求不断增加的数据吞吐量和零尾延迟,因此必须重塑传统的以太网以满足严格的要求。先进的 Remote Direct Memory Access(RDMA)协议、均衡大型网络流量以及更好的拥塞控制方法等因素必须在大规模的系统中得到应用、部署和验证。

虽然以太网已经被用于大规模云和数据中心,但实际上它往往只是用于支持单服务器应用或小型工作负载。传统以太网本质上是一种有损网络,在扩展 AI 等分布式计算负载时,会带来重大挑战。

为了解决传统以太网的这些缺点,我们开始开发新技术和功能,将 NVIDIA 以太网产品转变为高性能计算网络架构,能够支持加速计算的严格要求。

NVIDIA Spectrum-X 代表了传统以太网的重大进步,它在端到端的架构上进行专门设计,用于优化 AI 工作负载。它使用NVIDIA BlueField-3 SuperNIC 网卡NVIDIA Spectrum-4 交换机协同工作,并特别增强了数据中心环境中的 GPU 到 GPU 通信(也称为东西向网络流量)。

以下是 Spectrum-X 的特别之处:

  • 基于遥测的拥塞控制
  • 无损网络
  • 动态负载均衡

基于遥测的拥塞控制

通过将高频遥测探针与流量测量相结合,Spectrum-X 拥塞控制可确保工作负载得到保护,并确保网络提供性能隔离。这意味着各种类型的 AI 工作负载可以同时在共享基础设施上运行,而不会互相对性能产生负面影响。

无损网络

Spectrum-X 将配置网络实现无损,从而确保不丢弃数据包并最大限度地降低尾延迟。尾延迟是指一组并行任务中速度最慢的任务所经历的延迟,这将决定操作的整体完成时间。

动态负载均衡

Spectrum-X 使用细粒度动态路由来最大限度地提高网络利用率,并确保以太网的最高有效带宽。动态路由通过在整个网络中实现逐包负载均衡,避免了传统以太网中静态路由(等价多路径,即 ECMP)或 flowlet 路由的陷阱,而无需深度缓冲区或突发吸收。

由于负载均衡意味着数据包可以乱序地到达目的地,NVIDIA BlueField-3 SuperNIC 则确保重新排序数据包,并将其放置在主机内存中,从而对应用程序透明。

自 Spectrum-X 创建以来,NVIDIA 团队(包括一些世界知名的网络专家)一直在进行全天候的基准测试和应用程序测试,他们不断优化 Spectrum-X,以在各种规模下实现超低的运行时间。

生态系统实现可持续发展

Spectrum-X 带来的性能提升让我们的 OEM 合作伙伴和解决方案提供商兴奋不已,这也让我们的大型云客户眼前一亮。这迅速促进全球合作伙伴与我们的合作,将 Spectrum-X 集成到他们的数据中心解决方案中。

这标志着我们的合作伙伴开始广泛采用 Spectrum-X,他们认识到 Spectrum-X 网络优化对 AI 工作负载的优势,并将其纳入其产品系列。

客户对 Spectrum-X 的性能赞不绝口

Spectrum-X 能够优化大规模 AI 工作负载并提高数据中心的性能,因此吸引了一批早期客户。通过与我们的 OEM 合作伙伴密切合作,多家顶级云服务提供商率先部署了 Spectrum-X,认识到它在增强其 AI 基础设施的同时显著降低总体 TCO 的潜力。

近期的案例包括:

  • 采用 NVIDIA 技术的戴尔 AI 工厂:将戴尔的计算、存储、软件和服务与 NVIDIA 先进的 AI 基础架构相结合。
  • HPE 推出的 NVIDIA AI 计算:旨在加速生成式 AI 工业革命。

NVIDIA 在部署大规模集成系统(包括用于自身开发和研究的系统)方面积累了成熟的经验,我们发布这些参考架构,以帮助我们的合作伙伴和客户采用加速计算。

我们还通过 NVIS(NVIDIA Infrastructure Services)提供出色的基础设施服务。凭借每天完成 2560 个经过全面测试和互联的 GPU 的实施效率,使用 NVIS 的客户可以快速启动和运行,短期内实现从硬件购买到训练 LLM 的整个流程。

总结

Spectrum-X 的发展历程才刚刚开始。随着我们的发展,NVIDIA 将在 Spectrum-X 平台上持续创新,在构建 AI 工厂、生成式 AI 云和企业 AI 数据中心方面发挥关键作用。Spectrum-X 平台树立了新标准,提供了无与伦比的性能和效率。

有关 NVIDIA Spectrum-X 的更多信息,请扫描下方二维码,注册并下载NVIDIA Spectrum-X 网络平台架构白皮书

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

世界读书日 | GTC 2025 12 场热门会议,探索 NVIDIA 在各领域的最新进展

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
美媒放风:特朗普考虑大幅下调对华关税,或降至50%-65%

美媒放风:特朗普考虑大幅下调对华关税,或降至50%-65%

观察者网
2025-04-23 23:41:06
家门口的上海车展,超豪品牌几乎全缺席!只剩宾利“撑门面”

家门口的上海车展,超豪品牌几乎全缺席!只剩宾利“撑门面”

南方都市报
2025-04-23 09:42:29
刘国梁辞去中国乒协主席职务 孙颖莎、王楚钦等国乒队员发声

刘国梁辞去中国乒协主席职务 孙颖莎、王楚钦等国乒队员发声

新京报
2025-04-23 17:34:05
最强赘婿生存法则:贝克汉姆长子凭啥拿下120亿富婆,理由很简单

最强赘婿生存法则:贝克汉姆长子凭啥拿下120亿富婆,理由很简单

又是秋风
2025-04-23 13:26:07
中国突然亮出 “氢弹” 级杀器!美国彻底慌了:这仗没法打了!

中国突然亮出 “氢弹” 级杀器!美国彻底慌了:这仗没法打了!

军迷小新055
2025-04-23 07:43:48
佟大为回本溪老家参加婚礼!衣着显老气,头发稀疏,不老神颜垮了

佟大为回本溪老家参加婚礼!衣着显老气,头发稀疏,不老神颜垮了

小娱乐悠悠
2025-04-23 14:53:17
李连杰和利智一张合照,证明岁月催人老,早已活成了普通人的样子

李连杰和利智一张合照,证明岁月催人老,早已活成了普通人的样子

史行途
2025-03-25 10:53:38
比刘国梁主动辞职更让人惊讶!不到48小时,体育界有四大变动

比刘国梁主动辞职更让人惊讶!不到48小时,体育界有四大变动

涵豆说娱
2025-04-23 20:53:26
4月23日俄乌:俄最大弹药库爆炸,乌拒绝承认被占领土属于俄罗斯

4月23日俄乌:俄最大弹药库爆炸,乌拒绝承认被占领土属于俄罗斯

山河路口
2025-04-23 23:41:13
特朗普,连退三步

特朗普,连退三步

缓缓说
2025-04-23 20:22:23
阿萨德出逃揭秘:路上被两架战机锁定,一部中国手机让他绝处逢生

阿萨德出逃揭秘:路上被两架战机锁定,一部中国手机让他绝处逢生

历史八卦社
2025-04-11 17:16:04
广东江门公布“小客车坠海致3死”事故评估报告,司机被判三年缓五年

广东江门公布“小客车坠海致3死”事故评估报告,司机被判三年缓五年

澎湃新闻
2025-04-23 16:14:26
上海再现“极窄人行道”!50米长、10厘米宽!

上海再现“极窄人行道”!50米长、10厘米宽!

看看新闻Knews
2025-04-23 21:25:39
北京一货拉拉骑手携17017元货物人间蒸发,平台回应:售后已介入

北京一货拉拉骑手携17017元货物人间蒸发,平台回应:售后已介入

正在新闻
2025-04-23 17:18:19
吓人,白头鹰落在门口,盯全家人盯一天!惊吓后发现无语真相:它吃撑了...

吓人,白头鹰落在门口,盯全家人盯一天!惊吓后发现无语真相:它吃撑了...

英国那些事儿
2025-04-11 23:31:29
中方已亮明底线,不到24小时连退两架波音飞机,特朗普口风变了

中方已亮明底线,不到24小时连退两架波音飞机,特朗普口风变了

文雅笔墨
2025-04-23 21:45:20
两架专机深夜降落北京,访华无门的特朗普,对华态度前所未有的好

两架专机深夜降落北京,访华无门的特朗普,对华态度前所未有的好

跳跳历史
2025-04-23 17:45:02
美媒忍不住了:中国向埃及派出歼-10C,外销中东依然有戏?

美媒忍不住了:中国向埃及派出歼-10C,外销中东依然有戏?

空天力量
2025-04-23 17:06:52
从现在起不存在中国武力统一台湾这个选项了

从现在起不存在中国武力统一台湾这个选项了

近史谈
2025-04-23 20:53:06
泽连斯基:不排除任何能够实现停火的方式!俄官员:俄方不会参加在乌部署欧洲军队相关谈判

泽连斯基:不排除任何能够实现停火的方式!俄官员:俄方不会参加在乌部署欧洲军队相关谈判

每日经济新闻
2025-04-23 21:52:09
2025-04-24 05:27:00
NVIDIA英伟达中国 incentive-icons
NVIDIA英伟达中国
英伟达(中国)官方账号
2998文章数 1376关注度
往期回顾 全部

科技要闻

马斯克:中国用户对FSD"最为苛刻"

头条要闻

黄金巨震 商家:金条断货需预订锁价 工厂正连夜赶货

体育要闻

金牌和金子,刘国梁改变国乒的这些年

娱乐要闻

于和伟领衔,央视谍战剧要有天花板了

财经要闻

董明珠放话"海归有间谍" 打工人破防了

汽车要闻

以经纬叙事 奇瑞瑞虎新旗舰SUV瑞虎9L快评

态度原创

健康
旅游
家居
艺术
军事航空

唇疱疹和口腔溃疡是"同伙"吗?

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

家居要闻

开阔空间 家居轻智能

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

军事要闻

特朗普要公布俄乌“和平计划” 俄乌双方回应