网易首页 > 网易号 > 正文 申请入驻

腾讯混元Large模型全面开源!腾讯云TI平台支持一键精调与推理

0
分享至

11月5日,腾讯混元宣布最新开源的MoE模型“混元Large”和图文生3D模型正式上线。腾讯云TI平台也宣布同步开放接入,为广大用户、开发者提供一站式精调、API调用及私有化部署服务。

混元Large模型拥有3890亿总参数量、520亿激活参数量,并支持256K上下文长度,是目前业界参数规模最大、性能领先的开源MoE模型。基于MoE(Mixture of Experts)结构的优越性,混元Large在推理速度和参数规模之间取得平衡,显著提升了模型的处理能力。测试结果显示,混元Large在CMMLU、MMLU、CEval、AGIEval等多学科评测集以及中英文NLP任务、代码、数学等9大维度表现出色,超越Llama3和Mixtral等主流开源模型。

腾讯云TI平台在国内首批完成混元大模型的适配和上架,为企业和开发者提供一键精调和推理服务,进一步扩展了腾讯云在大模型领域的生态布局,为产业智能化升级提供了强有力的技术和平台支持。腾讯混元大模型之外,目前平台也已广泛接入了Llama 3、Baichuan等市场主流开源大模型,支持快速发起训练任务或部署推理服务,使用流程简单、开发效率高。

实战导向的大模型精调工具链,提升企业业务效能

腾讯云TI平台致力于打造实战型大模型精调工具链,帮助用户训练出符合业务需求的高效模型,缩短开发周期并提升研发效率。平台支持灵活的数据准备和标注流程,并提供一键启动精调和推理任务的功能,大幅简化企业级用户的操作流程。

精调之前的数据准备从繁琐的数据清洗到耗时的数据标注都需要一个高效的工具平台,一份高质量的训练数据对精调模型达标起着至关重要的作用。腾讯云 TI 平台沉淀了优图算法专家清洗大模型训练数据的优质Pipeline,支持开箱即用。平台面向大语言模型和多模态大模型的标注工具非常灵活,基于数据集 Schema,可完全自定义工作台,支持的大模型标注场景包括但不限于高质量文本问答对筛选、文本数据清洗、图片问答对审核/修改、图片问答竞品评测、图片多轮问答、多模态阅读理解、图片文本描述等所有文生文、图生文类的场景。腾讯云TI 平台具备卓越的云原生特性,对接用户的云文件系统后,无需数据拷贝,标注结果直接保存在原文件路径。

在精调训练阶段,腾讯云TI平台内置了腾讯混元模型及其他主流开源模型,用户可以一键发起精调任务。通过硬件容错、容器调度、任务断点续训的三层保障机制,平台确保大规模训练任务的稳定性。另外,借助腾讯自研的Angel加速机制,腾讯云TI平台整体提升了训练性能30%,不仅加快了混元大模型的精调过程,还有效降低了资源消耗。

与此同时,腾讯云TI平台还提供了一整套完善的模型评测工具,包括在线轻量体验、客观评测以及主观评测。这些评测功能让企业能够根据实际业务需求,对模型效果进行全方位的验证,确保在应用场景中的高效表现。

全面适配国产算力,满足异构计算需求

目前,腾讯云TI平台已完成对国产计算卡的适配,有效满足了相关企业对安全性和独立性的高标准要求。

在适配过程中,腾讯云凭借腾讯优图实验室在相关训练方面的丰富经验,成功应对了千卡规模集群中的多项技术挑战。最新支持异构算力的统一纳管,实现了ARM架构和X86架构芯片服务器算力资源可通过一个控制台进行统一纳管,在当下算力资源紧张的情况下,帮助客户最大限度整合现有资源。

通过优化系统架构和技术流程,腾讯云TI平台有效解决了性能、兼容性等关键问题,确保了混元大模型在国产硬件上的流畅运行,保障用户在自主可控环境中仍然可以获得卓越的算力和推理性能。



推动大模型生态建设,助力行业智能化转型

混元大模型成功上架腾讯云TI平台,标志着腾讯云在大模型生态建设上迈出全新一步。目前,腾讯在大模型领域已经构建了一套全链路产品矩阵,涵盖从底层丰富基础设施到顶层多元智能应用。包括自研通用大模型、模型开发平台、智能体开发平台,以及针对不同场景定制的智能应用解决方案等。通过这些产品和方案,致力于助力企业客户高效地将大模型技术应用到实际业务场景中,实现快速部署和价值创造。

在医疗行业,腾讯云携手上海市数字医学创新中心,共研医学大模型,目前在瑞金医院实现了总检报告和电子病历生成等相关项目的落地应用。以体检报告生成为例,平均每5秒即可自动生成一份总检报告,为医生节约50%+的撰写时间。

在文娱行业,阅文集团一直利用大模型能力持续提升其用户写作和插图制作效率,但面临模型迭代快、更新复杂和推理成本高昂等问题。腾讯云TI平台的应用简化了模型训练配置,通过加速框架提升了推理速度,同时提供了易于使用的管理工具,助力持续解决上述难题。

大模型时代,算力、网络、数据构成了底层基础设施的“铁三角”。除了提供一站式AI大模型服务之外,腾讯云还为客户提供了HCC高性能计算集群、星脉高性能计算网络以及向量数据库等基础设施服务。

不断为千行百业打造行业大模型解决方案的同时,腾讯云也在积极参与行业大模型标准的制定。在金融领域,腾讯云与信通院合作,发布了国内首个金融行业大模型标准,为智能化发展和大模型的安全合规提供了支持;在医疗健康领域,腾讯参与编写的《人工智能大模型赋能医疗健康产业白皮书(2023年)》已发布,旨在推动医疗健康大模型的发展并提出标准建议。

与此同时,腾讯还被选举为全国信标委人工智能分委会委员兼副秘书长单位,作为核心成员,承担了更多标准制定工作以及技术引领作用。未来,腾讯云将持续优化技术,推动大模型生态建设,加速千行百业应用落地,为各行业的数字化转型提供有力支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一位大学老师自白:我那辍学5年的“学渣”儿子,在美国成了学霸

一位大学老师自白:我那辍学5年的“学渣”儿子,在美国成了学霸

Dr小鱼
2024-11-22 10:25:27
张柏芝带小儿子公开露面,比谢霆锋的两个儿子还要帅气

张柏芝带小儿子公开露面,比谢霆锋的两个儿子还要帅气

港叔
2024-11-13 10:34:52
“这是中国的非凡机遇,德国和日本远远落后了”

“这是中国的非凡机遇,德国和日本远远落后了”

观察者网
2024-11-23 22:52:07
拉开你和同龄人差距的十种能力

拉开你和同龄人差距的十种能力

洞见
2024-10-20 21:38:09
罗翔:小时候不理解老人晒太阳,一坐就是半天,长大了才明白

罗翔:小时候不理解老人晒太阳,一坐就是半天,长大了才明白

清风拂心
2024-10-16 17:11:19
赵本山儿子赵大牛12万巴黎世家棉袄穿出30块地摊货感,网友:绝了

赵本山儿子赵大牛12万巴黎世家棉袄穿出30块地摊货感,网友:绝了

娱不咸
2024-10-31 20:20:02
要打回NBA?朗尼-沃克欧冠赛场献过人炸扣24分钟速砍24分3板

要打回NBA?朗尼-沃克欧冠赛场献过人炸扣24分钟速砍24分3板

直播吧
2024-11-23 09:07:09
全球夺冠,海外破6亿,中国票房仅518万,观众给好莱坞上了一课

全球夺冠,海外破6亿,中国票房仅518万,观众给好莱坞上了一课

靠谱电影君
2024-11-22 20:40:20
网红丐中丐夫妻俩车祸身亡!开车直播桥上倒车,4岁女儿精神分裂

网红丐中丐夫妻俩车祸身亡!开车直播桥上倒车,4岁女儿精神分裂

林大师热点
2024-11-22 09:20:06
乌克兰遭中导袭击,托卡耶夫沉思后对俄表态:准备“迎战”

乌克兰遭中导袭击,托卡耶夫沉思后对俄表态:准备“迎战”

时时有聊
2024-11-23 09:14:10
出大事了?中俄同时收到“战书”,比美国还强硬 !属实出乎意料

出大事了?中俄同时收到“战书”,比美国还强硬 !属实出乎意料

宏说天下
2024-11-22 14:51:01
特朗普大祸临头!中方直接甩出最大“王牌”,不是美债,美国承认

特朗普大祸临头!中方直接甩出最大“王牌”,不是美债,美国承认

猫小狸同学
2024-11-22 21:00:02
“退出北约!绝不与俄为敌!”——这句话引发的国际巨震!

“退出北约!绝不与俄为敌!”——这句话引发的国际巨震!

星辰故事屋
2024-10-13 20:00:22
终于明白为啥最近王宝强接连被爆"丑闻"!评论区一针见血,让人感慨

终于明白为啥最近王宝强接连被爆"丑闻"!评论区一针见血,让人感慨

热闹的河马
2024-11-23 12:29:11
俄罗斯的新型中导震惊世界,美专家:中国的导弹更强大

俄罗斯的新型中导震惊世界,美专家:中国的导弹更强大

兵国大事
2024-11-23 00:05:12
你以为正常,其实是“故意缩短产品寿命”,这些设计能让你多掏钱

你以为正常,其实是“故意缩短产品寿命”,这些设计能让你多掏钱

室内设计师有料儿
2024-11-22 09:57:46
“假酒”中毒?6名外国游客三天内相继身亡,老挝外交部:正展开调查

“假酒”中毒?6名外国游客三天内相继身亡,老挝外交部:正展开调查

红星新闻
2024-11-23 18:12:00
亚冠精英赛附加赛,我们来了!足协杯冠军出炉,成都蓉城再上一个台阶

亚冠精英赛附加赛,我们来了!足协杯冠军出炉,成都蓉城再上一个台阶

红星新闻
2024-11-23 22:20:12
看完全部(春若景明不相逢)《付明嫣顾景程》后续全文

看完全部(春若景明不相逢)《付明嫣顾景程》后续全文

黎鉌雨慢写
2024-11-24 00:44:47
这可能是东亚小孩一生最稀缺的能力

这可能是东亚小孩一生最稀缺的能力

壹心理
2024-11-22 11:08:14
2024-11-24 01:44:49
数码指南针
数码指南针
想和朋友们聊聊生活。
192文章数 0关注度
往期回顾 全部

科技要闻

华为徐直军首谈鸿蒙生态是什么

头条要闻

拜登政府常务副国务卿放话:我们在努力"拆散"中俄

头条要闻

拜登政府常务副国务卿放话:我们在努力"拆散"中俄

体育要闻

那个"最惨背景帝" 41岁还是五大联赛主力

娱乐要闻

德云社人事大变动!烧饼担任副总

财经要闻

钟睒睒的“愤怒”,谁能消解?

汽车要闻

对话张纯伟:80万!捷途立了一个新Flag

态度原创

艺术
教育
手机
时尚
军事航空

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

教育要闻

加强中小学校园食品安全和膳食经费管理,教育部发布最新指引——

手机要闻

华为Mate70系列再次被确认:散热革新、影像突破,鸿蒙也有好消息

伊姐周六热推:电视剧《白夜破晓》;电视剧《太阳星辰》......

军事要闻

普京:俄拥有"榛树"导弹储备 且有必要进行批量生产

无障碍浏览 进入关怀版