网易首页 > 网易号 > 正文 申请入驻

中国版GPT-4o炸场:国内首个流式多模态交互模型,现场实时且丝滑

0
分享至

金磊 发自 WAIC
量子位 | 公众号 QbitAI

没等到GPT-4o,商汤先把《Her》给发布出来了!

就在刚刚,商汤直接在现场来了个炸裂的Live Show,话不多说,直接看效果:



(视频地址:https://mp.weixin.qq.com/s/ytbGOtzGcqMeAIq_625_6A)

不仅声音非常拟人(观众直呼好磁性),而且还是实时随时可以打断的那种!

它宛如被安上了一对儿眼睛,可以做到精准无误的所见即所得

就连手绘的粗糙的简笔画,AI也能俏皮地跟人类做互动:



(视频地址:https://mp.weixin.qq.com/s/ytbGOtzGcqMeAIq_625_6A)

一波Live Show秀下来,引得观众掌声连连、“哇”声一片。

这就是商汤发布的国内首个流式原生多模态交互模型——6000亿参数日日新5.5系列中的5o所达到的效果。

据了解,这是一种全新的AI交互模式,把文本、声音、图像还有视频等模态全都囊括到了一起,可以让AI跟人们交流的时候变得更加生动丰富。



(视频地址:https://mp.weixin.qq.com/s/ytbGOtzGcqMeAIq_625_6A)

可以说是真·电影走进现实了。

而且商汤CEO徐立现场表示,很快就可以用上了!



但新的AI交互模型,也还仅仅是商汤在这次发布中的一隅。

纵观整场活动,商汤可以说是围绕着日日新5.5,把多模态这事给玩儿得66的。

各位看官,咱们继续往下瞧。

计算机巨佬们“活”了起来

你没看错,商汤用新AI搞的另一个花活儿,就是“复活”了图灵、冯诺依曼等计算机巨佬们。

并且还致敬了已故的人工智能科学家,商汤科技创始人汤晓鸥老师,徐立表示:

致敬我们的创始人汤晓鸥教授对人工智能的执着,以及对于人才的培养,奠定了我们今天可以站在这里跟大家分享我们关于人工智能的一些想法。

请看VCR:



(视频地址:https://mp.weixin.qq.com/s/ytbGOtzGcqMeAIq_625_6A)

这个新AI,名叫Vimi,是基于日日新5.5能力打造的首个可控人物视频生成大模型

而且是只需要一张任意风格照片就能搞定、普通用户都可以用、长达1分钟的那种哦~

要知道,“人物可控”这事一直是用大模型搞生成的一道难题,就连Sora在内大模型也面临无法精准控制动作、连续性不稳定(突然变脸)等问题。

但Vimi就不一样了,它不仅能够精确地控制人物的面部表情,还能在半身像的范围内调节人物的自然姿态。

并且也能够自动生成与人物相匹配的头发、服装以及背景的变化;时长方面更是达到了分钟级别。

由此,以后要是想打造一个自己的大片儿,例如冰雪女王,那就是一张照片的事儿了:



(视频地址:https://mp.weixin.qq.com/s/ytbGOtzGcqMeAIq_625_6A)

以为这就完了?No,No,No。

你的表情包又要变丰富了。



总而言之,Vimi的出现可以说是利好视频创作者,让他们有了另一个高质量AI工具的选择。

值得一提的是,Vimi还被这次世界人工智能大会(WAIC)官方授予了最高荣誉——镇馆之宝

怎么做到的?

对于能取得上述效果背后的杀手锏技术,商汤在现场也做出了大揭秘。

一方面是架构。

日日新5.5采用的是混合端边云协同专家架构,可以最大限度发挥云边端协同,降低推理成本。

另一方面是数据。

日日新5.5在模型训练上基于超过10TB tokens高质量训练数据,包括大量合成的思维链数据,其语言理解和交互能力全面升级。

因此,日日新5.5在数学、推理、编程等多个维度较上个版本具有较大的提升,尤其是在数学推理(↑31.5%)英文理解(↑53.8%)、指令跟随(↑26.8%)等核心指标方面。



那么这一点又该如何体现呢?权威评测榜单,便是一个很好的印证。

例如根据OpenCompass的评测,日日新5.5的平均分数已经与GPT-4o持平,并且多想细分维度的分数是超越了GPT-4o的。



不要999,不要99,只要9.9元全年

除了多模态之外,端侧,也是此次商汤着重的发力点之一。



现在的日日新端侧模型5.5 Lite同样也在性能指标的各维度上做到了全面升级。

基于手机旗舰平台,5.5 Lite首次安装包的耗时仅为0.19秒,相较于之前的版本减少了40%。

它的推理速度提高了15%,达到每秒90.2个汉字的处理速度。

此外,商汤还推出了端侧模型矩阵,其中包括商量Mini写作助手、总结助手和百科助手等专门定制的模型。

这些专项模型在相应的场景下具有更优异的性能,能够满足客户复杂业务场景的需求,同时也能够提供不同的专项模型供客户选择或定制。

而且基于日日新5.5的端侧大模型还做到了“多快好”,还做到了“省”——每台使用成本最低可达每年9.9元



在企业方面,与商汤达成合作的企业用户已经超过3000家,覆盖领域包括互联网、医疗、金融和编程等等。



而说到价格,说到普惠,就不得不提商汤此次提出的“0元Go”计划了:

即日起,成为商汤“日日新SenseNova”用户,可获得涉及调用、迁徙、训练等多项免费服务大礼包。
同时赠送5000万Tokens包,并且派出专属搬家顾问,让新用户入驻新家舒适顺利。



那么看完商汤此次的整场发布,我们还需要回答一个问题:

重塑交互为什么重要?

对于这个问题,商汤CEO徐立给出了他的解读:

我曾经的想法是我们所处的行业虽然很热,但它还没有到超级时刻,是因为它没有真正的走进到一个行业的垂直应用当中引起广泛的变化。
但现在我的想法有点改变,超级时刻和应用应该是互相成就的,只有超级时刻带来的认知的变化,最后才能推动这样一个应用。

因此,应用,或许就成为了决定这个时代是不是人工智能超级时刻的一个关键。

这也就是为什么商汤要推出流式原生多模态交互模型的原因了,只有做到了更丰富更精准的多模态,以及更低延时更可控,方可让应用这件事更上一层楼。

总而言之,思路已然清晰,技术不断进步,属于AI2.0的超级时刻或许正在加速向我们逼近。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不忍了:新西兰华人准备上街!警方今日通告:打华人少年的女人,抓到了!

不忍了:新西兰华人准备上街!警方今日通告:打华人少年的女人,抓到了!

发现新西兰
2024-07-08 13:35:28
将计就计!仁爱礁的菲律宾船已断粮数月,菲军到底怎么活下来的?

将计就计!仁爱礁的菲律宾船已断粮数月,菲军到底怎么活下来的?

战域笔墨
2024-07-08 13:04:43
故事:夫妻AA制20年,丈夫住院妻子却和男闺蜜旅游,回家后被离婚

故事:夫妻AA制20年,丈夫住院妻子却和男闺蜜旅游,回家后被离婚

墨染尘香
2024-04-19 12:11:05
34岁鹿晗被偶遇,身形消瘦佝偻着腰,一头金发被嘲像尹正

34岁鹿晗被偶遇,身形消瘦佝偻着腰,一头金发被嘲像尹正

木子爱娱乐大号
2024-07-04 18:00:01
太突然!河南网红夫妇钓鱼2人溺亡:妻子31岁人很美,原因被曝光

太突然!河南网红夫妇钓鱼2人溺亡:妻子31岁人很美,原因被曝光

影像温度
2024-07-05 17:19:56
8日收评!针对第二目标位的反弹结束,如期跌向第三目标位!

8日收评!针对第二目标位的反弹结束,如期跌向第三目标位!

春江财富
2024-07-08 15:13:10
曹德旺预言:2024年不买房,五年后将是“庆幸”还是“后悔”?

曹德旺预言:2024年不买房,五年后将是“庆幸”还是“后悔”?

帝都观日记
2024-07-04 23:39:39
美洲杯官方:阿根廷vs加拿大的半决赛将由智利裁判组执法

美洲杯官方:阿根廷vs加拿大的半决赛将由智利裁判组执法

懂球帝
2024-07-08 12:42:07
玛丽·勒庞被击败!英荷两国国防大臣访问基辅送去大礼包

玛丽·勒庞被击败!英荷两国国防大臣访问基辅送去大礼包

鹰眼Defence
2024-07-08 10:36:00
要价100万美元,费南多狮子大开口,申花未违规接触 伊万密切关注

要价100万美元,费南多狮子大开口,申花未违规接触 伊万密切关注

替补席看球
2024-07-08 17:13:26
不怕坝决堤了,怕人心决堤了

不怕坝决堤了,怕人心决堤了

木蹊说
2024-07-08 11:44:57
德约今晚难逃一劫?鲁内霸气发言要把他拉下马

德约今晚难逃一劫?鲁内霸气发言要把他拉下马

网球之家
2024-07-08 13:14:19
河南的这群犹太人,为何不愿踏上重返以色列的归途?真相让人动容

河南的这群犹太人,为何不愿踏上重返以色列的归途?真相让人动容

清清河边草
2024-06-26 01:11:33
苏亚雷斯回应佩雷拉:你应该尊重乌拉圭足球历史,我们的球员很棒

苏亚雷斯回应佩雷拉:你应该尊重乌拉圭足球历史,我们的球员很棒

直播吧
2024-07-07 20:43:22
曾经人山人海的西安西郊最火爆超市,如今变成这样了!

曾经人山人海的西安西郊最火爆超市,如今变成这样了!

长安小记
2024-07-08 10:59:09
徐娇未修原图照片曝光,满脸油光看上去年龄增长不少。

徐娇未修原图照片曝光,满脸油光看上去年龄增长不少。

楚门记
2024-07-08 15:02:16
希捷被要求补税15亿人民币,直接关门去了泰国

希捷被要求补税15亿人民币,直接关门去了泰国

小刀99
2024-07-07 10:20:04
果然出事了!俄罗斯传来重大噩耗,细节曝光,普京恐有大麻烦了!

果然出事了!俄罗斯传来重大噩耗,细节曝光,普京恐有大麻烦了!

乡野小珥
2024-07-08 17:03:19
对峙24小时后,大陆舰艇越聚越多,台当局求援失败,美国不敢越线

对峙24小时后,大陆舰艇越聚越多,台当局求援失败,美国不敢越线

大白话瞰世界
2024-07-05 10:55:40
英国新防长上任48小时就访问乌克兰!宣布最新援助计划

英国新防长上任48小时就访问乌克兰!宣布最新援助计划

项鹏飞
2024-07-08 16:56:36
2024-07-08 18:18:44
量子位
量子位
追踪人工智能动态
9642文章数 175397关注度
往期回顾 全部

科技要闻

抖音电商正无限逼近拼多多

头条要闻

台媒:大陆2架"双尾蝎"无人机首次同时现身台东部海域

头条要闻

台媒:大陆2架"双尾蝎"无人机首次同时现身台东部海域

体育要闻

佩佩:四十而已

娱乐要闻

泫雅龙俊亨被曝将结婚!女方被质疑可能怀孕

财经要闻

盛松成:货币政策有效而有限

汽车要闻

后排配置超迈巴赫 有享界S9你还会选56E吗?

态度原创

本地
家居
健康
游戏
军事航空

本地新闻

云游中国 | 走进安塞,寻觅黄土高原文化记忆

家居要闻

精致典雅 复古欧式奢华

人类为何至今无法攻克渐冻症?

老头环DLC带火《血源诅咒》!自制模拟器大突破,上PC指日可待

军事要闻

以色列要求加沙城市区多地居民撤离

无障碍浏览 进入关怀版