网易首页 > 网易号 > 正文 申请入驻

郑纬民院士:中国大模型能走在世界前列,目前多数万卡集群不好用

0
分享至

1月8日,环球时报、中国科协新技术开发中心、清华大学技术创新研究中心等单位联合发起新质生产力产业实践洞见活动。

会上,中国工程院院士、清华大学计算机系教授郑纬民表示,2024年国内大模型产业主要有两大特点,即从基础大模型向多模态发展以及大模型+行业,并认为我国在发展大模型+各行各业上优势突出,有可能走在世界前列。


郑纬民院士展开介绍了大模型生命周期的五个环节,以及不同环节存在的问题。第一个环节是数据获取,其难点在于文件数量多且读取频繁,大模型训练过程可能需要处理百亿级别的数据文件。

第二个环节是数据预处理,数据质量不高不能直接用于训练,所以需要预处理。以GPT-4为例,1万块卡训练11个月,差不多有半年时间在做数据预处理,效率非常低。

目前国际采用的主流软件是开源的Spark,优势是生态佳,可扩展性、容错性好。缺点有两点,是处理速度比较慢,受限于Java语言本身的条件,二是Spark采用了内存计算,即把要处理的数据放到内存里计算,放到内存比放到硬盘的计算速度快,但是内存的价格高、容量低。如果有一个T的数据要处理,那就需要占用内存20T。

清华大学研究了部分模块用C++来写,同时擦去一些办法降低内存占用,低至数据规模的2倍到3倍,有可能将数据预处理时间缩短一半。

第三个环节是模型训练,模型训练需要大量的计算、存储等相关技术,郑纬民院士重点提及了可靠性。假如10万张卡组成一个系统,每一个小时出一次错,就会大幅降低训练效率,这已经是世界先进水平。

目前业内的通用做法是,在训练到一定程度时主动“暂停”,比如40分钟时把软硬件的状态记下来, 然后继续训练,等到下一次出错恢复到前一个标记点继续训练,但是数据量大且复杂,效率仍然有待提高,目前行业在探索更高效的读写方案。

第四个环节是模型微调,基础大模型训练出来需要针对特定行业或者场景二次训练,比如医疗行业,在基础大模型之上结合医院数据再训练一次,得到一个医疗领域的大模型,也可以进一步第三次训练,比如在医院大模型上结合B超数据再训练一次,得到一个B超领域相关的大模型,连续多次训练得到更小领域的大模型,这也是微调的主要作用。

第五个环节是推理,即将训练好的大模型应用在具体场景。

AI芯片是大模型产业焦点,郑伟民院士指出,产业各界聚焦大模型下一步要着力探索构建国产万卡系统和异构卡联合训练,更好支撑起国产大模型训练。

他说,国产AI芯片最近两三年取得了很大的进步,但是从严格的角度来说,国产的卡用户不太喜欢用,不是硬件做得不好,而是生态不太好。

如何定义生态好不好?如果原来有一个软件是基于英伟达开发,现在很容易移植到国产系统上,就是生态好,如果移植起来没有两年、三年移不完,移不成功,生态就不好。基于新的硬件新写软件也是同理,目前的策略是开发更多的软件系统优化生态,让多张卡同时训练有更好的线性加速比。

郑纬民院士最后总结,构建国产万卡系统很重要,也很难,但一定要建,万卡系统总的来说达到基本可用,特别是软件生态要建好,此外,要重视异构卡联合训练。

中国算力进入新一轮快速发展周期,主要源于东数西算和大模型训练,智能算力发展最快。大模型训练高端卡用得比较多,中低端卡用得比较少,大概只有30%的利用率,国产软件生态建设得当,有望把30%利用率提高到60%。

会上,科大讯飞联合创始人、高级副总裁江涛表示,基于昇腾AI云服务,科大讯飞联合华为推出国内首个万卡规模大模型算力平台“飞星一号”,能够实现大模型训练推理一体化设计,解决大模型时代“卡脖子”问题,并不断优化集群训练效率。在此平台上, 讯飞星火大模型持续迭代至4.0 Turbo,综合指标上已达到GPT-4 Turbo水平,数学能力、代码能力超过GPT-4o。

华为云大数据与AI领域总裁尤鹏表示,未来基础模型可能会收敛到三家,不会超过五家,会有大量的企业去做上面的行业模型以及行业落地。

华为云结合AI To B实践总结出三个观点:一、不是每一个企业都需要大规模建设AI算力。不排除资金比较雄厚的互联网公司,它们的每个业务场景、每个推荐、每个搜索、每个内容标签、每个内容生成都会用到大模型,但是可能95%的公司都不需要建数据中心,用云的方式可以以快速解决AI的训练、增训、推理,实现算力的高效利用。二、不是每一个企业都需要训练自己的基础模型,选择业界主流基础模型应用于自己的场景是比较经济的选择,投资也比较少,周期也比较短,见效也比较快。三、不是说所有的应用都要追求大模型,世界从来都不是抛弃式的发展,而是继承式的发展,原来的专业小模型可以继续使用,大模型作为一个调度系统,能够很好地把大小模型调度起来,未来大模型系统是一个混合工程的平台,通过大模型调度小模型,大模型为中模型、小模型去生成数据。(本文首发于钛媒体APP,作者 | 张帅,编辑 | 盖虹达)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
男子发现满级清道夫?身披金黄甲胄,拍完就放了,网友:损失上万

男子发现满级清道夫?身披金黄甲胄,拍完就放了,网友:损失上万

狸猫之一的动物圈
2025-01-08 08:46:05
独行侠轰16-0翻盘克莱最后半节被弃用 22分钟6中1拿3分4助

独行侠轰16-0翻盘克莱最后半节被弃用 22分钟6中1拿3分4助

直播吧
2025-01-10 11:12:23
国乒女单首败!早田希娜剃光头,世界亚军1-11惨败,朱雨玲状态佳

国乒女单首败!早田希娜剃光头,世界亚军1-11惨败,朱雨玲状态佳

知轩体育
2025-01-09 22:55:05
深圳市龙岗区一自建房项目发生事故,致3人死亡,广东省挂牌督办

深圳市龙岗区一自建房项目发生事故,致3人死亡,广东省挂牌督办

中国工程报
2025-01-10 11:45:58
担心的事发生,叙利亚军队开危险先例,不顾14国在场,中方出手了

担心的事发生,叙利亚军队开危险先例,不顾14国在场,中方出手了

风华讲史
2025-01-10 09:04:19
重伤半年,沦为替补!巴萨25岁副队长想离队:被标价6000万

重伤半年,沦为替补!巴萨25岁副队长想离队:被标价6000万

叶青足球世界
2025-01-10 10:13:38
澳洲超市已经开始卖这个了,网友:救命!让我们喘口气吧!

澳洲超市已经开始卖这个了,网友:救命!让我们喘口气吧!

澳洲红领巾
2025-01-10 13:17:50
北京女子上坟哭喊儿子,不料真有回应,母亲不顾反对给儿子开棺

北京女子上坟哭喊儿子,不料真有回应,母亲不顾反对给儿子开棺

一场奇遇日记
2024-01-05 22:55:39
刘强东母亲在别墅内做红烧肉,母子长得好像,父亲捡纸壳好节俭!

刘强东母亲在别墅内做红烧肉,母子长得好像,父亲捡纸壳好节俭!

古希腊掌管松饼的神
2025-01-09 23:32:45
早上8点,郑钦文冲上热搜!拿1座大满贯冠军,2025年收入保底3亿

早上8点,郑钦文冲上热搜!拿1座大满贯冠军,2025年收入保底3亿

侃球熊弟
2025-01-10 10:09:46
一堆石头,骗了500亿!各路大佬纷纷落马,骗子卷走300亿逃到国外

一堆石头,骗了500亿!各路大佬纷纷落马,骗子卷走300亿逃到国外

毒sir财经
2025-01-09 21:00:10
“这样的恶魔,一定把他送走,绝不留下他!”

“这样的恶魔,一定把他送走,绝不留下他!”

新华社
2025-01-10 14:36:09
144小时免签之后,中韩女权决裂了!

144小时免签之后,中韩女权决裂了!

星辰故事屋
2025-01-10 15:45:08
“一日葬”悄然兴起:是文明崛起还是孝道缺失?

“一日葬”悄然兴起:是文明崛起还是孝道缺失?

大道微言
2025-01-10 00:08:41
金门派人前往北京,还没见到国台办主任,就对大陆提了不少要求

金门派人前往北京,还没见到国台办主任,就对大陆提了不少要求

野山历史
2025-01-09 18:40:25
赴缅失联学生最后一通电话声音颤抖,此前给妈妈发消息:我又让你失望了,对不起妈妈

赴缅失联学生最后一通电话声音颤抖,此前给妈妈发消息:我又让你失望了,对不起妈妈

观威海
2025-01-09 20:25:06
突发!老胡宣布告别股海?难道回本又被套住了?

突发!老胡宣布告别股海?难道回本又被套住了?

风风顺
2025-01-10 04:29:06
知情人透露许好宁、林美玲后续:180万泰铢的价格被卖进园区红楼

知情人透露许好宁、林美玲后续:180万泰铢的价格被卖进园区红楼

原广工业
2025-01-10 12:00:43
广州“棺材”地铁口后续:已拆除4人受处罚,永不与设计单位合作

广州“棺材”地铁口后续:已拆除4人受处罚,永不与设计单位合作

阿矗论古今
2025-01-10 09:22:53
能活到90岁的老人,大部分都是在60岁时,戒掉了这5件事!

能活到90岁的老人,大部分都是在60岁时,戒掉了这5件事!

闻心品阁
2025-01-09 07:40:26
2025-01-10 17:32:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
112545文章数 859768关注度
往期回顾 全部

科技要闻

王啸:我看好应用层,一直没投基础大模型

头条要闻

吉林大爷为受伤外地游客垫3700元医药费 反被索赔5万

头条要闻

吉林大爷为受伤外地游客垫3700元医药费 反被索赔5万

体育要闻

骑士VS雷霆,这是真正的高水平

娱乐要闻

鬼鬼吴映洁未婚生女当妈

财经要闻

财政部发声!2025年财政政策将非常积极

汽车要闻

10万元级无图智驾 悦也PLUS全路况实测

态度原创

手机
本地
时尚
公开课
军事航空

手机要闻

OPPO Find N5独孤求败:轻薄大折叠 上半年独此一款

本地新闻

食味印象|来太原,先干了这碗牺汤!

这次杨紫的“扛剧”体质,还能把这部“现象级”开年大剧抬上桌吗?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

乌承认F-16不敌俄军战机 盼F-35救场

无障碍浏览 进入关怀版