网易首页 > 网易号 > 正文 申请入驻

GPT-4劲敌,谷歌进入高能+高产模式

0
分享至

出品 | 虎嗅科技组

作者 | 杜钰君

编辑 | 王一鹏

头图 | 视觉中国

在这场争夺AIGC话语权与领导力的追逐战里,谷歌与微软争相拼臂力秀肌肉。Gemini1.5Pro的横空出世,将多模态大模型的标准提到了一个新高度。

一、极致性能背后的模型架构

当地时间2月15日,Alphabet与Google公司首席执行官SundarPichai携首席科学家JeffDean等众高管在X平台发布了多模态模型Gemini1.5Pro。这是继2月7日的Gemini1.0Ultra后,谷歌在多模态大模型赛道的又一力作。

图源:X平台Alphabet与Google公司首席科学家JeffDean推文

“巧合”的是,OpenAI在Gemini1.5Pro官宣两小时发布Sora这枚重磅炸弹,颇有“一较高下”的劲头。只是由于当下大家的视线焦点集中在视频领域,Sora又是OpenAI首次发布文生视频模型,所以无奈被抢了头条。

图源:微博评论

Gemini1.5Pro建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络,而MoE(MixtureofExperts混合专家模型)模型则分为更小的“专家”神经网络。在这一结构之下,通过将模型参数划分为多个组别而实现的计算的稀疏化,即每次执行推理任务时,根据对输入类型的判断,MoE模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。

这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能,更快地学习复杂任务的同时保证准确性。与稠密模型相比,MoE模型的预训练速度更快;使用MoE层代替transformer中的前馈网络(FFN)层。因而对的采用可以弥补Transformer架构运算效率的问题。

在Switch-Transformer、M4等领域,Google一直是深度学习MoE技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用MoE架构。有消息称,GPT-4也采用了由8个专家模型组成的集成系统。2023年12月8日MistralAI发布的Mixtral8x7B同样采用了这种架构。就国内的大模型而言,只有Minimax采用了MoE架构。

二、扩容的上下文窗口意味着什么?

虽然Gemini1.5Pro是Gemini1.5系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini1.5Pro的一大亮点。

多模态大模型卷到今日,上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的SOTA模型将上下文窗口容量卷到了20万token。而谷歌的Gemini1.5Pro直接将上下文窗口容量提到了100万token(极限为1000万token),远远超出了Gemini1.0最初的32,000个token,创下了最长上下文窗口的纪录。

对于文本处理,Gemini1.5Pro在处理高达530,000token的文本时,能够实现100%的检索完整性,在处理1,000,000token的文本时达到99.7%的检索完整性。甚至在处理高达10,000,000token的文本时,检索准确性仍然高达99.2%。在音频处理方面,Gemini1.5Pro能够在大约11小时的音频资料中,100%成功检索到各种隐藏的音频片段。在视频处理方面,Gemini1.5Pro能够在大约3小时的视频内容中,100%成功检索到各种隐藏的视觉元素。

图源:Gemini1.5Pro官方测试数据

Gemini1.5Pro大大超过Gemini1.0Pro,在27项基准(共31项)上表现更好,特别是在数学、科学和推理(+28.9%),多语言(+22.3%),视频理解(+11.2%)和代码(+8.9%)等领域。即使是对比Gemini系列的高端产品Gemini1.0Ultra,Gemini1.5Pro也在超过一半的基准(16/31)上表现更好,特别是在文本基准(10/13)和许多视觉基准(6/13)上。在NIAH测试中,Gemini1.5Pro能够在长达100万token的文本块中,以99%的准确率找出隐藏有特定信息的文本片段。

图源:Gemini1.5Pro官方测试数据

这个上下文长度使Gemini1.5Pro可以自如地处理22小时的录音、超过十倍的完整的1440页的书(587,287字)“战争与和平”,以及四万多行代码、三小时的视频。

三、机器脑有多好使

除高效架构和强上下文处理能力之外,Gemini1.5Pro的优秀品质还在于“情境学习”技能,它可以根据长提示,从以前从未见过的信息中学习新技能,而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中“海底捞针”由想象映照进了现实。

根据官方发布的测试报告,当给定卡拉曼语(一种全球使用人数不足200人的语言)的语法手册时(500页的语言文献,一本词典和400个平行句子),Gemini1.5Pro模型可以学习将英语翻译成卡拉曼语,其水平与学习相同内容的人相似。

图源:Gemini1.5Pro官方演示样本

当被一个45分钟的Buster基顿电影“小神探夏洛克”(1924年)(2674帧,1FPS,684k token)提示时,Gemini1.5Pro可以从其中的特定帧中检索和提取文本信息,并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同,这些问题通常需要了解跨越大量文本的信息片段之间的关系。

图源:Gemini1.5Pro官方演示样本

Gemini1.5Pro在处理长达超过100,000行的代码时,还具备极强的问题解决能力。面对庞大的代码量,它能够深入分析各个示例,提出实用的修改建议,还能详细解释代码的条例框架。给出了整个746,152个令牌JAX代码库,Gemini1.5Pro可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库,利用这个模型快速熟悉、理解代码结构。

图源:Gemini1.5Pro官方演示样本

正如NVIDIA高级科学家JimFan所言,Gemini1.5Pro意味着LLM能力的大幅跃升,这对于做个体户的小公司而言可谓一骑绝尘。

在人机协同的探索过程中,单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说,人才第一,数据第二,算力第三,其他都没有什么是不可替代的。Gemini1.5Pro是谷歌与巅峰对决的又一利器,或许AGI时代正加快到来。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄军损失突破70万,超90%的乌克兰人认为俄罗斯已经耗尽资源

俄军损失突破70万,超90%的乌克兰人认为俄罗斯已经耗尽资源

山河路口
2024-11-04 23:01:47
亲密助手被逮捕,机密文件已流出,内塔尼亚胡陷泄密丑闻

亲密助手被逮捕,机密文件已流出,内塔尼亚胡陷泄密丑闻

环球网资讯
2024-11-05 07:09:51
谈崩边缘!法国部长威胁动手,中方强硬回击:反制到底,绝不妥协

谈崩边缘!法国部长威胁动手,中方强硬回击:反制到底,绝不妥协

娱乐的小灶
2024-11-05 20:49:06
百亿坤哥乘百万雷尔法出行,网友:坤哥的新鞋价格顶我一年工资了

百亿坤哥乘百万雷尔法出行,网友:坤哥的新鞋价格顶我一年工资了

小鹿姐姐情感说
2024-11-05 13:37:49
造势活动将持续到深夜,阵营对立让美民众不安,世界关注美国大选今日投票

造势活动将持续到深夜,阵营对立让美民众不安,世界关注美国大选今日投票

环球网资讯
2024-11-05 07:19:37
美国收到最新情报,中国手里的战略底牌,又一次被西方低估了?

美国收到最新情报,中国手里的战略底牌,又一次被西方低估了?

现代小青青慕慕
2024-11-05 11:15:30
美股小幅高开 特朗普媒体科技集团涨超9%

美股小幅高开 特朗普媒体科技集团涨超9%

每日经济新闻
2024-11-05 22:32:08
万茜的这个动作好俏皮哦!她是怎么做到的?

万茜的这个动作好俏皮哦!她是怎么做到的?

光影纪史
2024-10-16 22:01:15
苏-34飞行员确认阵亡!俄罗斯国防部:1枚防空导弹击毁12枚火箭弹

苏-34飞行员确认阵亡!俄罗斯国防部:1枚防空导弹击毁12枚火箭弹

鹰眼Defence
2024-11-05 17:00:34
42岁姚笛加拿大被偶遇,脸小皮肤白素颜很美,和文章状态判若两人

42岁姚笛加拿大被偶遇,脸小皮肤白素颜很美,和文章状态判若两人

青芳草
2024-11-05 12:55:12
最牛预言家盲眼先知:千次预测99%命中 预言2024世界被一条龙统治

最牛预言家盲眼先知:千次预测99%命中 预言2024世界被一条龙统治

贰文
2024-01-10 14:46:14
辛巴又把矛头对准了杨子,直播间公开内涵杨子,是个超级大骗子

辛巴又把矛头对准了杨子,直播间公开内涵杨子,是个超级大骗子

阿桥侃娱乐
2024-11-05 08:26:48
B席:看起来这支球队正走在错误的道路上;伤员需要尽快复出

B席:看起来这支球队正走在错误的道路上;伤员需要尽快复出

懂球帝
2024-11-06 06:35:12
我国或将迎来四大降价潮,除了房价外,还有这3样东西可能会降价

我国或将迎来四大降价潮,除了房价外,还有这3样东西可能会降价

猫叔东山再起
2024-11-03 09:20:03
降息预期升温!11月6日,今日凌晨的四大消息全面传来!

降息预期升温!11月6日,今日凌晨的四大消息全面传来!

风口招财猪
2024-11-06 01:59:26
“天才少女”姜萍被拆穿:知情人和同学接连爆料,撒谎原因曝光!

“天才少女”姜萍被拆穿:知情人和同学接连爆料,撒谎原因曝光!

金叨叨
2024-11-04 14:41:00
王小波:人活世上有两大义务,一是好好做人,二是不惯别人的毛病

王小波:人活世上有两大义务,一是好好做人,二是不惯别人的毛病

清风拂心
2024-11-03 13:50:13
HBO新剧太生猛,播到倒数第二集飙上9.2分!

HBO新剧太生猛,播到倒数第二集飙上9.2分!

热荐电影
2024-11-05 23:34:15
美方高度关注歼35A和红19亮相

美方高度关注歼35A和红19亮相

中工网
2024-11-05 14:07:02
格局!武磊:谢谢每个不喜欢我的人 很享受球迷之间的喜欢与厌恶

格局!武磊:谢谢每个不喜欢我的人 很享受球迷之间的喜欢与厌恶

念洲
2024-11-05 08:46:32
2024-11-06 06:52:49
虎嗅APP
虎嗅APP
个性化商业资讯与观点交流平台
22771文章数 685348关注度
往期回顾 全部

科技要闻

字节跳动上半年营收直逼Meta:TikTok狂飙

头条要闻

美国一男子因携带信号枪在国会大厦游客中心被捕

头条要闻

美国一男子因携带信号枪在国会大厦游客中心被捕

体育要闻

一个想改变中国足球的日本人

娱乐要闻

周雨彤风波升级!阴阳怪气遭全网怒怼

财经要闻

超配!高盛:AH股未来一年回报率20%

汽车要闻

新款别克世纪将11月12日上市 预售价48.99万起

态度原创

健康
教育
时尚
数码
亲子

花18万治疗阿尔茨海默病,值不值?

教育要闻

警惕:这3种负面言语容易伤害到孩子,家长一定要远离

韩里韩气的穿搭太有氛围感了,照着穿就很美

数码要闻

机械师推出 M3 Air 双模办公鼠标:65 克重量,12 天续航,59 元

亲子要闻

人类幼崽刚想哭 幸好妈妈及时出手,宝宝逐渐沉迷在自己的歌声中,先是惊讶 然后质疑 尝试 诶~这声就是不一样

无障碍浏览 进入关怀版