网易首页 > 网易号 > 正文 申请入驻

刚刚,DeepSeek 发布开源第二弹!推理效率起飞了

0
分享至

就在刚刚,DeepSeek 第二天的开源项目 DeepEP 正式发布。

DeepSeek 官方在 X 平台发文称:

「很高兴向大家介绍 DeepEP——首个专为 MoE(专家混合)模型训练和推理打造的开源 EP 通信库。

✅ 高效优化的全对全(all-to-all)通信
✅ 支持节点内(intranode)和节点间(internode)通信,兼容 NVLink 和 RDMA
✅ 训练与推理预填充(prefilling)阶段的高吞吐率计算核
✅ 推理解码(decoding)阶段的低延迟计算核
✅ 原生支持 FP8 数据调度
✅ 灵活的 GPU 资源控制,实现计算与通信的重叠处理」

据介绍,DeepEP 是专为专家混合(MoE)和专家并行(EP) 设计的通信库,提供高吞吐、低延迟的全对全(all-to-all)GPU 计算核,也被称为 MoE dispatch 和 MoE combine。

此外,该库还支持包括 FP8 在内的低精度计算操作。

说人话就是,DeepEP 是 MoE 模型的「通信管家」,通过软硬件协同优化,让专家之间的数据传递又快又省资源,大幅提升训练和推理效率。

另外,DeepEP 为支持 DeepSeek-V3 论文中的组限门控(group-limited gating) 算法,开发了专门的计算模块,这些模块能够高效处理不同网络连接之间的数据传输,比如从 GPU 之间的 NVLink 连接传输到服务器之间的 RDMA 连接。

DeepEP 提供了两种主要类型的计算模块。

一种是高吞吐量模块,它们在训练和推理预填充阶段表现出色,并且可以灵活调整 GPU 处理器资源;另一种是专为推理解码阶段设计的低延迟模块,完全基于 RDMA 技术,能够最大限度减少响应时间。

此外,DeepEP 还引入了一种基于 Hook 的方法,使计算和通信能够同时进行而不占用额外的 GPU 资源。

DeepSeek 团队使用 H800 测试了两种不同类型的计算模块,配备了 NVLink 连接(最大带宽可达 160 GB/s)以及 CX7 InfiniBand 400 Gb/s RDMA 网卡(最大带宽约 50 GB/s)。效果如图表所示。

附上 GitHub 项目地址:
https://github.com/deepseek-ai/DeepEP







特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

疯狂!小扎砸 14 亿从苹果挖走庞若鸣,上交校友成 Meta AI 梦之队第 9 位华人

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
尹锡悦再次被捕:关入首尔看守所,检方调查扩大到外患罪

尹锡悦再次被捕:关入首尔看守所,检方调查扩大到外患罪

界面新闻
2025-07-10 09:23:54
幼儿园附近有铅厂!疑后厨家属发声爆料,当地村民恐知内情

幼儿园附近有铅厂!疑后厨家属发声爆料,当地村民恐知内情

180视角
2025-07-09 13:25:40
失去了土地出让金的支持:地方财政从哪找补?

失去了土地出让金的支持:地方财政从哪找补?

戈多的叹息
2025-07-08 07:55:10
温网第102胜!德约3-1逆转第14次进四强创纪录 将战世界第一辛纳

温网第102胜!德约3-1逆转第14次进四强创纪录 将战世界第一辛纳

醉卧浮生
2025-07-10 06:52:24
我国将迎来人口死亡高峰?22年1041万人去世、23年1110万,去年呢

我国将迎来人口死亡高峰?22年1041万人去世、23年1110万,去年呢

酥白
2025-07-09 00:28:16
尹锡悦再次住进拘留所!或永远出不来了!硅胶娃娃怎么办

尹锡悦再次住进拘留所!或永远出不来了!硅胶娃娃怎么办

王朝风云
2025-07-10 06:43:12
上海博物馆一文创产品被指消费“文物伤疤” 博物馆回应:已在处理

上海博物馆一文创产品被指消费“文物伤疤” 博物馆回应:已在处理

封面新闻
2025-07-09 14:50:08
联合国关注甘肃幼儿铅中毒事件:赞赏中国政府有关部门反应迅速

联合国关注甘肃幼儿铅中毒事件:赞赏中国政府有关部门反应迅速

西游日记
2025-07-10 10:27:18
为省7毛赔光10亿,充电宝巨头罗马仕崩塌了

为省7毛赔光10亿,充电宝巨头罗马仕崩塌了

时尚的弄潮
2025-07-10 01:22:00
被活活累死的杨少华老爷子

被活活累死的杨少华老爷子

电动猫
2025-07-10 00:51:44
为什么全世界都真怕失去美国市场?

为什么全世界都真怕失去美国市场?

林小明商业评说
2025-07-09 01:52:34
2万台军刚集结,不到24小时,大陆反制来了,禁止对台出口稀土

2万台军刚集结,不到24小时,大陆反制来了,禁止对台出口稀土

掌青说历史
2025-07-10 08:59:23
十年内斗,昔日疫苗之王科兴生物董事会大洗牌!此前发布超级分红计划:分红75亿美元,是市值的15倍,股息率最高达1900%

十年内斗,昔日疫苗之王科兴生物董事会大洗牌!此前发布超级分红计划:分红75亿美元,是市值的15倍,股息率最高达1900%

每日经济新闻
2025-07-10 00:16:12
惊天言论!不能加班的人请离开团队,我的工作时间是9点到晚上2点

惊天言论!不能加班的人请离开团队,我的工作时间是9点到晚上2点

明月杂谈
2025-07-09 07:06:41
天水摊事了!官媒发声:19年前与今天有太多相似,严查的远不止8人

天水摊事了!官媒发声:19年前与今天有太多相似,严查的远不止8人

大川哥
2025-07-09 20:53:51
北京城区降雨已达暴雨量级!三区单点出现大暴雨

北京城区降雨已达暴雨量级!三区单点出现大暴雨

环球网资讯
2025-07-10 09:06:07
巴西国家队主帅安切洛蒂因税务欺诈被判入狱一年

巴西国家队主帅安切洛蒂因税务欺诈被判入狱一年

FM93浙江交通之声
2025-07-10 00:05:37
公婆退休金加起来1万,却每月给我9000,我立刻和娘家断了关系

公婆退休金加起来1万,却每月给我9000,我立刻和娘家断了关系

惟来
2025-07-09 10:29:57
再次释放出申请加入CPTPP的信号:明知不可为而为之

再次释放出申请加入CPTPP的信号:明知不可为而为之

戈多的叹息
2025-07-10 06:43:06
领克900/极氪9X/银河M9集结,吉利拉开高端化新战局

领克900/极氪9X/银河M9集结,吉利拉开高端化新战局

汽车公社
2025-07-09 14:49:41
2025-07-10 11:55:01
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
5457文章数 26580关注度
往期回顾 全部

科技要闻

三星推三款折叠屏机 Fold 7起售价1999美元

头条要闻

再婚父亲欠下100万让两女儿帮还债 女儿各自出资30万

体育要闻

北美四大职业联盟 又多了一位中国球员

娱乐要闻

方媛晒照:孕肚隆起好明显,小女儿像郭富城!

财经要闻

潮玩规模破千亿的幕后故事

汽车要闻

豪华不靠"装" 奥迪Q6L e-ton的电动灵魂与豪华体魄

态度原创

房产
家居
旅游
艺术
军事航空

房产要闻

14%+同比涨幅!2025广州上半年楼市答卷出炉!

家居要闻

美式简约 奢华不失优雅

旅游要闻

热闻|清明假期将至,热门目的地有哪些?

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

军事要闻

以军称打死哈马斯一高级领导人 现场画面公布