网易首页 > 网易号 > 正文 申请入驻

腾讯混元Large模型全面开源!腾讯云TI平台支持一键精调与推理

0
分享至

11月5日,腾讯混元宣布最新开源的MoE模型“混元Large”和图文生3D模型正式上线。腾讯云TI平台也宣布同步开放接入,为广大用户、开发者提供一站式精调、API调用及私有化部署服务。

混元Large模型拥有3890亿总参数量、520亿激活参数量,并支持256K上下文长度,是目前业界参数规模最大、性能领先的开源MoE模型。基于MoE(Mixture of Experts)结构的优越性,混元Large在推理速度和参数规模之间取得平衡,显著提升了模型的处理能力。测试结果显示,混元Large在CMMLU、MMLU、CEval、AGIEval等多学科评测集以及中英文NLP任务、代码、数学等9大维度表现出色,超越Llama3和Mixtral等主流开源模型。

腾讯云TI平台在国内首批完成混元大模型的适配和上架,为企业和开发者提供一键精调和推理服务,进一步扩展了腾讯云在大模型领域的生态布局,为产业智能化升级提供了强有力的技术和平台支持。腾讯混元大模型之外,目前平台也已广泛接入了Llama 3、Baichuan等市场主流开源大模型,支持快速发起训练任务或部署推理服务,使用流程简单、开发效率高。

实战导向的大模型精调工具链,提升企业业务效能

腾讯云TI平台致力于打造实战型大模型精调工具链,帮助用户训练出符合业务需求的高效模型,缩短开发周期并提升研发效率。平台支持灵活的数据准备和标注流程,并提供一键启动精调和推理任务的功能,大幅简化企业级用户的操作流程。

精调之前的数据准备从繁琐的数据清洗到耗时的数据标注都需要一个高效的工具平台,一份高质量的训练数据对精调模型达标起着至关重要的作用。腾讯云 TI 平台沉淀了优图算法专家清洗大模型训练数据的优质Pipeline,支持开箱即用。平台面向大语言模型和多模态大模型的标注工具非常灵活,基于数据集 Schema,可完全自定义工作台,支持的大模型标注场景包括但不限于高质量文本问答对筛选、文本数据清洗、图片问答对审核/修改、图片问答竞品评测、图片多轮问答、多模态阅读理解、图片文本描述等所有文生文、图生文类的场景。腾讯云TI 平台具备卓越的云原生特性,对接用户的云文件系统后,无需数据拷贝,标注结果直接保存在原文件路径。

在精调训练阶段,腾讯云TI平台内置了腾讯混元模型及其他主流开源模型,用户可以一键发起精调任务。通过硬件容错、容器调度、任务断点续训的三层保障机制,平台确保大规模训练任务的稳定性。另外,借助腾讯自研的Angel加速机制,腾讯云TI平台整体提升了训练性能30%,不仅加快了混元大模型的精调过程,还有效降低了资源消耗。

与此同时,腾讯云TI平台还提供了一整套完善的模型评测工具,包括在线轻量体验、客观评测以及主观评测。这些评测功能让企业能够根据实际业务需求,对模型效果进行全方位的验证,确保在应用场景中的高效表现。

全面适配国产算力,满足异构计算需求

目前,腾讯云TI平台已完成对国产计算卡的适配,有效满足了相关企业对安全性和独立性的高标准要求。

在适配过程中,腾讯云凭借腾讯优图实验室在相关训练方面的丰富经验,成功应对了千卡规模集群中的多项技术挑战。最新支持异构算力的统一纳管,实现了ARM架构和X86架构芯片服务器算力资源可通过一个控制台进行统一纳管,在当下算力资源紧张的情况下,帮助客户最大限度整合现有资源。

通过优化系统架构和技术流程,腾讯云TI平台有效解决了性能、兼容性等关键问题,确保了混元大模型在国产硬件上的流畅运行,保障用户在自主可控环境中仍然可以获得卓越的算力和推理性能。



推动大模型生态建设,助力行业智能化转型

混元大模型成功上架腾讯云TI平台,标志着腾讯云在大模型生态建设上迈出全新一步。目前,腾讯在大模型领域已经构建了一套全链路产品矩阵,涵盖从底层丰富基础设施到顶层多元智能应用。包括自研通用大模型、模型开发平台、智能体开发平台,以及针对不同场景定制的智能应用解决方案等。通过这些产品和方案,致力于助力企业客户高效地将大模型技术应用到实际业务场景中,实现快速部署和价值创造。

在医疗行业,腾讯云携手上海市数字医学创新中心,共研医学大模型,目前在瑞金医院实现了总检报告和电子病历生成等相关项目的落地应用。以体检报告生成为例,平均每5秒即可自动生成一份总检报告,为医生节约50%+的撰写时间。

在文娱行业,阅文集团一直利用大模型能力持续提升其用户写作和插图制作效率,但面临模型迭代快、更新复杂和推理成本高昂等问题。腾讯云TI平台的应用简化了模型训练配置,通过加速框架提升了推理速度,同时提供了易于使用的管理工具,助力持续解决上述难题。

大模型时代,算力、网络、数据构成了底层基础设施的“铁三角”。除了提供一站式AI大模型服务之外,腾讯云还为客户提供了HCC高性能计算集群、星脉高性能计算网络以及向量数据库等基础设施服务。

不断为千行百业打造行业大模型解决方案的同时,腾讯云也在积极参与行业大模型标准的制定。在金融领域,腾讯云与信通院合作,发布了国内首个金融行业大模型标准,为智能化发展和大模型的安全合规提供了支持;在医疗健康领域,腾讯参与编写的《人工智能大模型赋能医疗健康产业白皮书(2023年)》已发布,旨在推动医疗健康大模型的发展并提出标准建议。

与此同时,腾讯还被选举为全国信标委人工智能分委会委员兼副秘书长单位,作为核心成员,承担了更多标准制定工作以及技术引领作用。未来,腾讯云将持续优化技术,推动大模型生态建设,加速千行百业应用落地,为各行业的数字化转型提供有力支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
曝易建联嫖娼最新进展!京城乔姐疑似已入狱,最少要判刑6年

曝易建联嫖娼最新进展!京城乔姐疑似已入狱,最少要判刑6年

180°视角
2024-11-08 14:56:58
打,奉陪到底!特朗普“下战书”,上台后第一个“集火”中国

打,奉陪到底!特朗普“下战书”,上台后第一个“集火”中国

布衣的呼喊
2024-11-08 09:38:15
4600CVIA 流明!坚果 N3 Ultra Max 登顶旗舰三色激光投影仪巅峰

4600CVIA 流明!坚果 N3 Ultra Max 登顶旗舰三色激光投影仪巅峰

Geek研究僧
2024-10-12 09:29:49
斯瓦泰克出局!高芙遭围攻怒喷:故意输给克雷娃是为了做掉iga

斯瓦泰克出局!高芙遭围攻怒喷:故意输给克雷娃是为了做掉iga

网球之家
2024-11-08 13:06:44
台湾已经做出选择!美国震惊了,日本震惊了,就连欧盟也震惊了!

台湾已经做出选择!美国震惊了,日本震惊了,就连欧盟也震惊了!

星辰故事屋
2024-11-07 10:30:10
湖南一小区内3人被杀身亡,死者身份和事因流出,事发全过程曝光

湖南一小区内3人被杀身亡,死者身份和事因流出,事发全过程曝光

温柔看世界
2024-11-08 12:33:37
李佩霞:大量生活照被扒,美腿抢镜,丈夫始终没露面,身份成谜!

李佩霞:大量生活照被扒,美腿抢镜,丈夫始终没露面,身份成谜!

来条娱吃
2024-11-08 11:16:49
特朗普拜登将共进午餐

特朗普拜登将共进午餐

新京报
2024-11-08 10:47:10
浙江省委原书记易炼红,新职明确

浙江省委原书记易炼红,新职明确

新京报政事儿
2024-11-08 16:22:28
王炸落地!利率下调!增值税取消?房价迎来大反弹,至少涨50%?

王炸落地!利率下调!增值税取消?房价迎来大反弹,至少涨50%?

巢客HOME
2024-11-07 07:35:11
一位北京炒股大赛冠军箴言:谨记股票大跌前的固定形态,绝无例外

一位北京炒股大赛冠军箴言:谨记股票大跌前的固定形态,绝无例外

股经纵横谈
2024-11-06 21:38:09
WTT德国站,第五比赛日全部结束,惊现6大没想到!

WTT德国站,第五比赛日全部结束,惊现6大没想到!

田先生篮球
2024-11-08 08:36:38
川普赢得美国大选,“最大受害国”已经出炉,背刺盟友果然有一套

川普赢得美国大选,“最大受害国”已经出炉,背刺盟友果然有一套

碳基生物关怀组织
2024-11-07 19:50:09
A股:今天,11月8日,突然跳水的原因找到了!

A股:今天,11月8日,突然跳水的原因找到了!

明心
2024-11-08 12:01:22
适当放宽!上海宣布→

适当放宽!上海宣布→

第一财经资讯
2024-11-08 14:36:49
特朗普17岁长孙女成大红人!获胜第二天,爷爷带她跟马斯克吃早餐

特朗普17岁长孙女成大红人!获胜第二天,爷爷带她跟马斯克吃早餐

娱乐书坊
2024-11-07 15:05:11
多方角力,要让俄乌冲突熄火的“生意人”特朗普如何做交易?

多方角力,要让俄乌冲突熄火的“生意人”特朗普如何做交易?

澎湃新闻
2024-11-08 07:00:28
全国结婚人数止跌回升冲上热搜!然而这是去年的数据,今年又跌去2成

全国结婚人数止跌回升冲上热搜!然而这是去年的数据,今年又跌去2成

小萝卜丝
2024-11-08 12:59:07
41岁张政政,任安徽省国资委副主任

41岁张政政,任安徽省国资委副主任

中安在线
2024-11-07 18:45:10
伊万卡低调亮相特朗普胜选演说 微妙站位惹关注

伊万卡低调亮相特朗普胜选演说 微妙站位惹关注

看看新闻Knews
2024-11-07 16:42:16
2024-11-08 17:00:49
数码指南针
数码指南针
想和朋友们聊聊生活。
175文章数 0关注度
往期回顾 全部

科技要闻

奥迪新品牌:告别四环,告别传统

头条要闻

娃哈哈拉齐十年前的业绩规模 宗馥莉奖励经销商近亿元

头条要闻

娃哈哈拉齐十年前的业绩规模 宗馥莉奖励经销商近亿元

体育要闻

科目一已过,勇士确认为强队

娱乐要闻

叶珂闪现闺蜜直播间,黄晓明评论沦陷

财经要闻

直接安排10万亿 地方政府化债压力大大减轻

汽车要闻

用魔法打败魔法 银河星舰7 EM-i这回量大管饱

态度原创

家居
手机
时尚
健康
房产

家居要闻

简约温馨 尽享舒适睡眠

手机要闻

三星Slim旗舰曝光!对标iPhone Air,要消灭“半斤机”?

原来“黑白配”才是时尚的标杆,看上去简单有质感,还不过时

花18万治疗阿尔茨海默病,值不值?

房产要闻

298k㎡,百万级人口,千亿级产业!海口最强新区,未来十年规划定了!

无障碍浏览 进入关怀版