网易首页 > 网易号 > 正文 申请入驻

AI 发展 “触礁”?传神语联“双脑”大模型开启实时学习浪潮

0
分享至



当百度创始人李彦宏激动地高呼:“一个只靠想法就能赚钱的时代来了!”普通人的机会到底在哪里?每个创业者都有自己的答案,但是经历了几代技术革命浪潮的李彦宏认为,智能体将最先引爆。

每个人、每个企业都有自己的“AI焦虑”:如果未来智能体成为主流,每个企业都将拥有自己的数字员工,那么人类员工会不会被AI替代?

过去24个月,AI行业最大的变化是大模型基本消除了幻觉,不再一本正经地胡说八道。大模型一大弱点已经被消除,比如,百度用检索增强技术解决文生图的幻觉,我们看到越来越多大模型生成的文字、图片不再“一眼假”“机器味儿”。

但是,普通人与大模型厂商之间存在天然信息差,“AI焦虑”自然也不同,当普通人焦虑自己会被AI替代,还是能抓住AI致富之时,大模型厂商在焦虑:到底大模型会不会是技术泡沫?因为比幻觉更大的问题正在到来。

近期,Scaling Law(尺度定律)撞墙的争论甚嚣尘上,国外知名科技媒体《The Information》爆料,OpenAI下一代旗舰模型Orion改进大幅放缓,与GPT-4相比,Orion性能提升微乎其微,合成数据越训越像旧模型,编码性能甚至还在退步。

当全球大模型摸着ChatGPT过河之际,大模型厂商必须要思考:下一代模型的方向在哪里?

智能体将最先爆发

当你走过家门口的连锁理发店时,也许你不会意识到,橱窗上精美的发型大片竟然是由智能体生成的。当你穿行于地铁站时,也许你不会意识到,站台上的广告大片竟然也是智能体生成的。以往这样一张照片需要请模特、发型师、摄影师,还需要租场地,动辄数万到数十万的成本。

大模型生成的图片接近于真实照片,从李彦宏在2024百度世界大会上展示的样片,大模型已经可以真实还原车型车标等样车、天坛等知名建筑物、爱因斯坦等名人。以前拍一组品牌宣传海报花费的几十万成本,在“数字设计师”面前接近于0。

“数字设计师”是一类智能体,“农民院士”又是一类智能体。在云南省普洱市澜沧拉祜族自治县,有几十万农民急需学习农业技术,但是一位农民院士显然分身乏术,于是“农民院士”智能体诞生了。“我想问一下旱稻什么时候种最好?”“旱地稻受到病虫害怎么办?”面对潮水般涌来的农业技术问题,它都能提供及时的帮助,真正帮农民解决实际生产难题。

在百度文心智能体平台上,有15万家企业和80万名开发者参与,甚至有11岁的小学生在创造智能体。李彦宏把智能体比作AI时代的新载体,就像PC时代的网站,移动时代的自媒体账号,这给了普通人一个新的致富机会。

智能体的门槛似乎已经降低到人人都能上手的程度,但从百度展示的案例来看,目前智能体在代替传统PC官网、人工客服、咨询律师等方面已经较为成熟。

但是智能体真的可以解决千行百业所有的实际问题了吗?传神语联董事长何恩培认为,今天我们还不敢完全依赖智能体干活,仍然需要人类监督,但它们正在变得越来越自主。大模型最擅长的还是处理大模型数据,搬运语言和文字,但要真正深入企业的工作流,还需要解决一个难题:在企业不愿意拿出数据的情况下,如何快速训练出一位足以应对行业问题的“专家”智能体?

Scaling Law撞墙

虽然OpenAI高管多次怒斥Scaling Law撞墙论,但多种迹象表明,这将成为很多基础大模型的共同难题。一直以来,Scaling Law被大模型业界公认为“大模型时代的牛顿定律”,大模型厂商都遵循这一定律并坚定相信“大力出奇迹”会持续奏效,不断扩大预训练数据、训练算力,从而扩大模型参数规模。

据不完全统计,宣布拥有千卡规模的中国算力集群已不少于100个。“从2024年开始,AI模型训练的主战场,万卡是标配。”摩尔线程创始人兼CEO张建中曾在今年7月表示。2024年,模型参数量从千亿迈向万亿,很多创业公司都没有资本实力训练基础大模型,毕竟GPT-4已经使用约2万多张显卡,未来模型算力需求可能达数十万甚至上百万张显卡,这就造成大量资源浪费与大量成本支出。

许多大型基础实验室都遇到了预训练的瓶颈,另一大原因是高质量文本数据越来越少。有研究预计,在2028年左右,已有的数据储量将全部用完,基于大数据的大模型发展可能放缓甚至陷入停滞。

“大模型的核心竞争,将是高质量数据的竞争。”一年前,达观数据CEO陈运文就在接受《IT时报》记者采访时表示,我们应该意识到,中文教科书只有英文的十分之一,知识密度高的文档资料才是大模型训练的优质数据,包括教科书、论文、报告,以及经过治理的企业数据等,但是微信聊天记录、淘宝聊天记录等数据有效性弱。

大模型落地最大的阻碍在于企业不愿意拿出数据,大模型就很难有效学习数据并成为专家。如果将数据提供给大模型服务商进行训练,数据安全难以保障。如果企业自行训练,不仅算力和人才成本高昂浪费,而且微调模式还可能削弱大模型通用能力,又回到了智能体落地中的两难境地。

数推分离将成下一代模型方向

如何走出这片技术沙漠?OpenAI正在改变策略谋求出路。早在今年5月,OpenAI首席执行官萨姆·奥特曼在对话麻省理工学院校长莎莉·科恩布鲁斯时提到,GPT-4有推理速度慢、成本高昂等副作用,GPT-5或将数据与推理引擎分离。

“大模型正在从Scaling Law时代迈向实时学习时代,数推分离是正是当下我们走通的另外一条路。”传神语联创始人何恩培也对《IT时报》记者表示。

传神的任度大模型主要切入的行业是航天、医疗、金融等对数据安全极为重视的行业,企业不愿意拿出数据怎么办?遇到的难题是基于向量检索、数据仿真等模式都难以保证输出结果的准确性,在算力和数据不可能无限扩大时,改进算法成为新出路,而且基于高效算法和架构的小参数模型更适合商业落地。但是,目前国内走通数推分离模式的大模型厂商并不多,走这条路仿佛穿越沙漠,没有前路可借鉴。

“数推分离更像人类学习知识的方式,人类只需要阅读几百本书就能获得一定的智慧来解决各种各样的问题。”何恩培提到,传神的任度大模型就是以双网架构实现客户数据学习网络与推理网络分离。客户数据学习网络如同人类左脑,在企业端实时学习历史数据和业务运营中的新数据,让企业数据为模型注入知识养分,却不需要离开企业上传至公有云;推理网络如同人类右脑,经过适量数据预训练达到良好的推理和泛化能力。

“双脑模式”的确降低了训练成本和数据安全的担忧,但是能否保证大模型“聪明”?何恩培表示,数推分离突破了常规大模型技术架构限制,上下文输入长度不受限,能将1亿字乃至更大量多模态数据压缩到神经网络中实现深度知识理解,等同于大模型和数据重新训练效果,同时企业运营实时数据,也能快速学习,训练时间可缩短至分钟级。

为了完全打消企业对数据不出域的疑虑,何恩培将双网络架构的数推分离大模型植入任度“双脑”大模型一体机中,就像一台专属电脑一样配置在企业端,让企业看到从物理上没人拿走,也不上传公有云,数据只在本地训练。

国产原创给世界第二种选择

高端GPU芯片禁售后,国内大模型行业已经意识到,只有国产原创才有出路。“只有在真正自主可控的平台上,才有真正的中国人工智能大未来,才能给世界第二种选择。”科大讯飞董事长刘庆峰多次强调。

今年10月,刘庆峰晒出成绩单:截至2024年10月,科大讯飞已与各头部企业共建20多个行业大模型,300多个应用场景,所覆盖行业和场景数都是第一。

讯飞星火大模型能成为众多央国企的选择,主要归因于全国产化的算力平台。2023年10月,科大讯飞与华为联合发布首个国产万卡算力集群“飞星一号”。今年10月,科大讯飞、华为、合肥市大数据资产运营有限公司三方联合打造的国产超大规模智算平台“飞星二号”正式启动。

“一年以来我们一起攻克了很多疑难杂症,解决了500多次以上的基础软硬件问题和模型适配问题。”刘庆峰说道。

在无人区的探索无比艰难,但是中国大模型厂商终究要走国产原创之路,算力国产化之后,底层算法框架的根原创依旧难走。而传神语联的任度大模型实现了从底层算法框架到上层应用的全技术栈自主研发“根原创”。

在一次内部研讨会上,一位行业专家语重心长地对传神语联何恩培说:“为什么国内外大厂都不走?你们的技术路线是不是选错了?”何恩培也曾怀疑过自己公司走的技术路线,直到看到任度大模型评测进入第一梯队,也看到在客户实际场景落地并得到了客户认可,才认为侥幸走通了这条技术路线。任度大模型2.1B参数版本在2024年9月的MMLU评估中,综合评分超越了Gemma-7B、LLaMA2-34B等知名大模型,性参比(大模型能力分数/大模型参数)更是超越了包括GPT-4o、Phi-3、Qwen2-7B、Llama3.1等国际顶尖大模型。这意味着,训练推理过程中消耗的算力成本大大降低,仅为同等大型模型的1/5—1/10以及1/2—1/4。

传神的任度大模型通过了中国信息通信研究院“0开源依赖”的评测,未使用任何开源代码和框架。“在国内外,能做到根原创的企业为数不多。”何恩培强调,这也解释了为何任度大模型能够不受限地实践数推分离双网络架构。

“我也侥幸走通了国产原创之路。我们没有从主流大模型发展遇到的问题中寻找突破机会,而是从公司诞生起就走在这条路上,走了20多年,也曾感到孤独和不自信,但看到大家都向这个方向走来,才确信自己走的没错。”何恩培说道。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《007》女星拍节目出意外!「胸部假体破裂」动手术:拿命在赌

《007》女星拍节目出意外!「胸部假体破裂」动手术:拿命在赌

ETtoday星光云
2025-01-09 12:16:47
医学研究发现:不吃酱油和味精的人,血压马上就降低了?真的吗?

医学研究发现:不吃酱油和味精的人,血压马上就降低了?真的吗?

荷兰豆爱健康
2025-01-10 18:40:38
男子发现满级清道夫?身披金黄甲胄,拍完就放了,网友:损失上万

男子发现满级清道夫?身披金黄甲胄,拍完就放了,网友:损失上万

狸猫之一的动物圈
2025-01-08 08:46:05
肥娟中专时照片曝光,小太妹气质,与老公刚进城便打卡“小蛮腰”

肥娟中专时照片曝光,小太妹气质,与老公刚进城便打卡“小蛮腰”

魔都姐姐杂谈
2025-01-10 10:20:18
故事:重庆地头蛇文强,600万邀韩国女星喝酒,强行灌醉与其共度良宵

故事:重庆地头蛇文强,600万邀韩国女星喝酒,强行灌醉与其共度良宵

红豆讲堂
2025-01-01 05:10:02
好消息!震惊世界的重大突破: 中国发现2800公里的世界级锂矿带

好消息!震惊世界的重大突破: 中国发现2800公里的世界级锂矿带

小淇言说
2025-01-10 00:56:40
硬碰硬!3艘055大驱开赴南海,迎战2艘美国航母,规模史无前例

硬碰硬!3艘055大驱开赴南海,迎战2艘美国航母,规模史无前例

清风游史
2025-01-09 14:42:53
一声叹息,留学生回来之后中国不要了

一声叹息,留学生回来之后中国不要了

百花谷周伯通
2025-01-09 14:16:12
事情真闹大了!陈奕迅曼谷演唱会取消,将全额退款

事情真闹大了!陈奕迅曼谷演唱会取消,将全额退款

小人物看尽人间百态
2025-01-10 19:37:27
仅4集,飙升榜第1,终于有能跟《漫长的季节》一较高下的悬疑剧了

仅4集,飙升榜第1,终于有能跟《漫长的季节》一较高下的悬疑剧了

清风游史
2025-01-10 17:17:49
建川博物馆被要求免费,樊建川硬刚道:没办法,我只能逐一闭馆

建川博物馆被要求免费,樊建川硬刚道:没办法,我只能逐一闭馆

深析古今
2025-01-09 18:21:18
力克北控杨鸣却大发雷霆!若输给对手将压力山大,希望学会过苦日子

力克北控杨鸣却大发雷霆!若输给对手将压力山大,希望学会过苦日子

君马体育
2025-01-11 00:37:04
姜萍最新模样曝光,网友:太意外了!

姜萍最新模样曝光,网友:太意外了!

墨下
2025-01-08 10:17:17
西藏地震最新捐款名单,都有谁、捐了多少?张颂文令人意外!

西藏地震最新捐款名单,都有谁、捐了多少?张颂文令人意外!

阿伧说事
2025-01-10 15:11:52
144小时免签之后,中韩女权决裂了!

144小时免签之后,中韩女权决裂了!

星辰故事屋
2025-01-10 15:45:08
37岁刘亦菲高铁上熟睡被遇!皮肤白皙山根突出,32万包随意放一旁

37岁刘亦菲高铁上熟睡被遇!皮肤白皙山根突出,32万包随意放一旁

最炫时尚
2025-01-08 09:40:03
送王星回国的飞机,中途返航?

送王星回国的飞机,中途返航?

燕梳楼频道
2025-01-10 21:08:24
当农民再次开始磨面吃,是倒退还是进步?

当农民再次开始磨面吃,是倒退还是进步?

猫小狸同学
2025-01-06 20:25:02
西藏灾区捐款名单曝光,小杨哥、董宇辉等多位网红低调捐天文数字

西藏灾区捐款名单曝光,小杨哥、董宇辉等多位网红低调捐天文数字

Mr王的饭后茶
2025-01-09 21:38:50
女子被判死刑,却因太美被侵犯怀孕,死刑改无期……

女子被判死刑,却因太美被侵犯怀孕,死刑改无期……

极品小牛肉
2025-01-03 15:26:54
2025-01-11 02:47:00
数据猿DataYuan incentive-icons
数据猿DataYuan
数据智能产业创新服务媒体
1923文章数 569关注度
往期回顾 全部

科技要闻

王啸:我看好应用层,一直没投基础大模型

头条要闻

独臂船长抵达全球最孤独地点尼莫点 离他最近处在太空

头条要闻

独臂船长抵达全球最孤独地点尼莫点 离他最近处在太空

体育要闻

28岁冷板凳!阿森西奥被抛售 千万年薪无人接

娱乐要闻

鬼鬼吴映洁未婚生女当妈

财经要闻

财政部发声!2025年财政政策将非常积极

汽车要闻

10万元级无图智驾 悦也PLUS全路况实测

态度原创

亲子
时尚
家居
手机
旅游

亲子要闻

台湾性治疗师事业人生:性教育该如何向孩子开口?

我的过年穿搭已经准备好了!分享5个思路

家居要闻

深浅搭配 放大视觉空间

手机要闻

OPPO Find N5再次被确认:钛金属+外观出炉,二月份发布

旅游要闻

在泰旅游从业者称有中国游客取消订单!

无障碍浏览 进入关怀版