网易首页 > 网易号 > 正文 申请入驻

GPT-4劲敌,谷歌进入高能+高产模式

0
分享至

出品 | 虎嗅科技组

作者 | 杜钰君

编辑 | 王一鹏

头图 | 视觉中国

在这场争夺AIGC话语权与领导力的追逐战里,谷歌与微软争相拼臂力秀肌肉。Gemini1.5Pro的横空出世,将多模态大模型的标准提到了一个新高度。

一、极致性能背后的模型架构

当地时间2月15日,Alphabet与Google公司首席执行官SundarPichai携首席科学家JeffDean等众高管在X平台发布了多模态模型Gemini1.5Pro。这是继2月7日的Gemini1.0Ultra后,谷歌在多模态大模型赛道的又一力作。

图源:X平台Alphabet与Google公司首席科学家JeffDean推文

“巧合”的是,OpenAI在Gemini1.5Pro官宣两小时发布Sora这枚重磅炸弹,颇有“一较高下”的劲头。只是由于当下大家的视线焦点集中在视频领域,Sora又是OpenAI首次发布文生视频模型,所以无奈被抢了头条。

图源:微博评论

Gemini1.5Pro建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络,而MoE(MixtureofExperts混合专家模型)模型则分为更小的“专家”神经网络。在这一结构之下,通过将模型参数划分为多个组别而实现的计算的稀疏化,即每次执行推理任务时,根据对输入类型的判断,MoE模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。

这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能,更快地学习复杂任务的同时保证准确性。与稠密模型相比,MoE模型的预训练速度更快;使用MoE层代替transformer中的前馈网络(FFN)层。因而对的采用可以弥补Transformer架构运算效率的问题。

在Switch-Transformer、M4等领域,Google一直是深度学习MoE技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用MoE架构。有消息称,GPT-4也采用了由8个专家模型组成的集成系统。2023年12月8日MistralAI发布的Mixtral8x7B同样采用了这种架构。就国内的大模型而言,只有Minimax采用了MoE架构。

二、扩容的上下文窗口意味着什么?

虽然Gemini1.5Pro是Gemini1.5系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini1.5Pro的一大亮点。

多模态大模型卷到今日,上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的SOTA模型将上下文窗口容量卷到了20万token。而谷歌的Gemini1.5Pro直接将上下文窗口容量提到了100万token(极限为1000万token),远远超出了Gemini1.0最初的32,000个token,创下了最长上下文窗口的纪录。

对于文本处理,Gemini1.5Pro在处理高达530,000token的文本时,能够实现100%的检索完整性,在处理1,000,000token的文本时达到99.7%的检索完整性。甚至在处理高达10,000,000token的文本时,检索准确性仍然高达99.2%。在音频处理方面,Gemini1.5Pro能够在大约11小时的音频资料中,100%成功检索到各种隐藏的音频片段。在视频处理方面,Gemini1.5Pro能够在大约3小时的视频内容中,100%成功检索到各种隐藏的视觉元素。

图源:Gemini1.5Pro官方测试数据

Gemini1.5Pro大大超过Gemini1.0Pro,在27项基准(共31项)上表现更好,特别是在数学、科学和推理(+28.9%),多语言(+22.3%),视频理解(+11.2%)和代码(+8.9%)等领域。即使是对比Gemini系列的高端产品Gemini1.0Ultra,Gemini1.5Pro也在超过一半的基准(16/31)上表现更好,特别是在文本基准(10/13)和许多视觉基准(6/13)上。在NIAH测试中,Gemini1.5Pro能够在长达100万token的文本块中,以99%的准确率找出隐藏有特定信息的文本片段。

图源:Gemini1.5Pro官方测试数据

这个上下文长度使Gemini1.5Pro可以自如地处理22小时的录音、超过十倍的完整的1440页的书(587,287字)“战争与和平”,以及四万多行代码、三小时的视频。

三、机器脑有多好使

除高效架构和强上下文处理能力之外,Gemini1.5Pro的优秀品质还在于“情境学习”技能,它可以根据长提示,从以前从未见过的信息中学习新技能,而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中“海底捞针”由想象映照进了现实。

根据官方发布的测试报告,当给定卡拉曼语(一种全球使用人数不足200人的语言)的语法手册时(500页的语言文献,一本词典和400个平行句子),Gemini1.5Pro模型可以学习将英语翻译成卡拉曼语,其水平与学习相同内容的人相似。

图源:Gemini1.5Pro官方演示样本

当被一个45分钟的Buster基顿电影“小神探夏洛克”(1924年)(2674帧,1FPS,684k token)提示时,Gemini1.5Pro可以从其中的特定帧中检索和提取文本信息,并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同,这些问题通常需要了解跨越大量文本的信息片段之间的关系。

图源:Gemini1.5Pro官方演示样本

Gemini1.5Pro在处理长达超过100,000行的代码时,还具备极强的问题解决能力。面对庞大的代码量,它能够深入分析各个示例,提出实用的修改建议,还能详细解释代码的条例框架。给出了整个746,152个令牌JAX代码库,Gemini1.5Pro可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库,利用这个模型快速熟悉、理解代码结构。

图源:Gemini1.5Pro官方演示样本

正如NVIDIA高级科学家JimFan所言,Gemini1.5Pro意味着LLM能力的大幅跃升,这对于做个体户的小公司而言可谓一骑绝尘。

在人机协同的探索过程中,单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说,人才第一,数据第二,算力第三,其他都没有什么是不可替代的。Gemini1.5Pro是谷歌与巅峰对决的又一利器,或许AGI时代正加快到来。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
讲不出再见!Shams:火箭欲用泰特和一个首轮,换来芬尼-史密斯

讲不出再见!Shams:火箭欲用泰特和一个首轮,换来芬尼-史密斯

小诸葛拜仁主席霍内斯
2024-11-30 08:35:06
奥迪比喷子务实,新车发布会骄傲地说:我们使用了中国华为技术

奥迪比喷子务实,新车发布会骄傲地说:我们使用了中国华为技术

码不停蹄
2024-11-27 17:30:02
2020年,上海朱晓东死刑执行,与母亲诀别时痛哭忏悔道:我错了

2020年,上海朱晓东死刑执行,与母亲诀别时痛哭忏悔道:我错了

百晓史
2024-11-28 16:22:42
不光压价还拖款?特斯拉“结账快”引热议!宝马账期仅30天!供应链:更愿意与“老牌车企”合作

不光压价还拖款?特斯拉“结账快”引热议!宝马账期仅30天!供应链:更愿意与“老牌车企”合作

每日经济新闻
2024-11-29 20:59:14
被困空间站,美国宇航员新画面来了,神舟二十号救援待命,帮吗?

被困空间站,美国宇航员新画面来了,神舟二十号救援待命,帮吗?

环球科学猫
2024-11-29 16:26:44
上海不少司机困惑:右转信号灯为何不亮绿灯?有人在路口傻等…官方解释→

上海不少司机困惑:右转信号灯为何不亮绿灯?有人在路口傻等…官方解释→

上观新闻
2024-11-29 17:52:32
官方:火箭召回惠特摩尔 下放麦克维至毒蛇队

官方:火箭召回惠特摩尔 下放麦克维至毒蛇队

直播吧
2024-11-30 08:36:15
降薪30%~50%!医生叹息:勒紧裤腰带

降薪30%~50%!医生叹息:勒紧裤腰带

康迅网
2024-11-29 17:07:58
得了中方恩惠后,石破茂看清局势,向中国派出一支等了12年的队伍

得了中方恩惠后,石破茂看清局势,向中国派出一支等了12年的队伍

小企鹅侃世界
2024-11-29 09:32:57
乔治:詹姆斯带球指挥交通时经常走步 但裁判根本不管

乔治:詹姆斯带球指挥交通时经常走步 但裁判根本不管

直播吧
2024-11-30 10:37:53
爆砍双20!利夫18中11拿下27分21板3助3帽 正负值+19

爆砍双20!利夫18中11拿下27分21板3助3帽 正负值+19

直播吧
2024-11-29 21:56:07
百亩永久农田改种景观草皮!省委书记暗访到地头

百亩永久农田改种景观草皮!省委书记暗访到地头

政知新媒体
2024-11-29 21:36:31
马龙在台湾第2天:“输给”樊振东,总被抢镜头,专握老太太的手

马龙在台湾第2天:“输给”樊振东,总被抢镜头,专握老太太的手

阿凫爱吐槽
2024-11-29 10:44:24
降准降息来了!今日凌晨的五大消息全面袭来(11.30)!

降准降息来了!今日凌晨的五大消息全面袭来(11.30)!

风口招财猪
2024-11-30 01:38:56
全红婵机场骑着箱子踢师兄,一网友评价:人狂必有祸

全红婵机场骑着箱子踢师兄,一网友评价:人狂必有祸

萱小蕾o
2024-11-27 12:39:15
赣州25岁女孩跳楼身亡后续:家属发声,曝光事件原因,女孩很漂亮

赣州25岁女孩跳楼身亡后续:家属发声,曝光事件原因,女孩很漂亮

记录生活日常阿蜴
2024-11-30 07:15:03
这位上海市长:到底“牛”在哪里?

这位上海市长:到底“牛”在哪里?

美食阿鳕
2024-11-30 07:50:13
体操中心怎么处理吴柳芳?资助她一百万创业吗?

体操中心怎么处理吴柳芳?资助她一百万创业吗?

细雨中的呼喊
2024-11-28 14:53:12
中国造船厂有大动作,第四艘“航母”现真身,名称让台军当场破防

中国造船厂有大动作,第四艘“航母”现真身,名称让台军当场破防

空天力量
2024-11-29 19:17:46
乌军向克里米亚大桥发射海王星导弹!摧毁俄军雷达系统

乌军向克里米亚大桥发射海王星导弹!摧毁俄军雷达系统

项鹏飞
2024-11-29 19:25:29
2024-11-30 11:07:00
虎嗅APP
虎嗅APP
个性化商业资讯与观点交流平台
22954文章数 685434关注度
往期回顾 全部

科技要闻

"AGI不是大杀器,是普通人每天在用的产品"

头条要闻

上海一业主将价值20万自行车放楼道 结果车"消失"了

头条要闻

上海一业主将价值20万自行车放楼道 结果车"消失"了

体育要闻

穆雷与德约科维奇能凑成王炸组合吗?

娱乐要闻

一夜爆火的丁真,不进娱乐圈他后悔吗

财经要闻

雪松爆雷前实控人张劲在香港抛售房产

汽车要闻

比亚迪方程豹豹8推送首次OTA 新增暴力模式

态度原创

家居
手机
游戏
公开课
军事航空

家居要闻

现代设计感 温馨两居室

手机要闻

三星One UI 7:终止支持Win10 / Win11版DeX,屏蔽Edge Panel应用

《夺宝奇兵:古老之圈》上市宣传片将于周一发布

公开课

一块玻璃,如何改变人类世界?

军事要闻

针对朝鲜半岛 韩美核咨商小组兵棋推演将举行

无障碍浏览 进入关怀版