网易首页 > 网易号 > 正文 申请入驻

羡慕o3?豆包也可以进行图片推理了!

0
分享至

昨天 Open AI 发布 o3 之后,早上尝试的的时候被 OpenAI 的降智快要折磨的砸电脑了。

刚好字节给开放了今天发布的豆包1.5深度思考模型,包含一个语言模型Doubao-1.5-thinking-pro,还有一个视觉版Doubao-1.5-thinking-pro-vision使用权限。

顺手用一些案例测试了一下,结果发现这俩玩意相当可以啊。

语言模型作为一个总大小 200B 激活参数 20B 的 MoE 模型,从规模上差 o3 很远。

但是 o3 可以完成的一些日常任务,Doubao-1.5-thinking-pro在给了一些提示后都能完成而且完成的不错。

这要再整个规模大点的模型,又可以不受 Open AI 的气了。更令人好奇的是视觉版Doubao-1.5-thinking-pro-vision,目前还没披露详细的技术报告。

我们还是来看一下测试结果。


根据照片推理位置

o3 最著名的一个用例就是根据图片推论图片拍摄的位置,我从小红书找了一个徒步路线的图片,想试试豆包模型能不能搞定,这是河北的易水湖景区,没想到真的可以,离谱了。

发给豆包模型之后他根据湖水、植被类型、山脉特征判断大致位置,之后有根据我的徒步路线这个信息思考了华北的类似区域和徒步路线最后确定了徒步线路的位置。

后面根据这个信息给出了这条路线的详细信息,还有徒步需要准备的东西和注意事项。

根据冰箱内容定制食谱

是不是想减肥但不知道每天应该怎么吃,Doubao-1.5-thinking-pro-vision 帮你识别冰箱中的所有食物并且结合你的身高、体重和运动量量确定每天的三大营养素摄入指标,身为你定制减肥食谱。

他还会提醒你冰箱里哪些需要少吃,另外会推荐最优的方案,也可以提供了冰箱食物的替代版本。

根据照片判断车祸原因和责任

很多朋友可能喜欢看车祸事故视频下饭或者自己开车不好判断事故责任问题,我们在小红书找一个撞车事故的图片,看看豆包模型能不能猜出事故的原因。

我本来不报期望的,因为这个图片的信息太少了,红绿灯之类的都没有,但是豆包模型还是基于两车接触位置和摔倒的姿态判断出了车祸的原因,就是因为视野盲区加车主没注意撞了摩托车,说明图片信息真的参与了推理过程。

育儿家居改造建议

豆包这个视觉思考模型视觉版也支持多张图片进行推理。

这里我上传了一个房子不同房间和角度的照片,让豆包给出可以为孩子降生做的家装整改建议。

他分析了现在屋子的陈设以后先是给出了一些针对安全的建议,后面针对方便育儿给出的物品陈列和摆放建议也很实用,还设计了安全防护 + 动线便利 + 弹性收纳三步走的调整策略,非常条理。

AI 编程和多模态就是今年最重要的两条主线叙事,Open AI 靠着在多模态和生成上的爆发在今年继续站稳了自己的位置。

而且无论是视觉推理还是多模态图片生成都是非常前沿的结果。

不得不说字节真的很有前瞻性,豆包文生图Seedream3.0(即梦3.0接入的模型)和豆包Doubao-1.5-thinking-pro-vison在这两个层面都在发力,现在也有了一些不错的成果。

我们有理由相信他们会是国内最快能够追上 Open AI 在这两个层面进度的公司。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
再次反悔!大众突然宣布不跟中国合作,因工会阻挠,中国建厂无望

再次反悔!大众突然宣布不跟中国合作,因工会阻挠,中国建厂无望

天天热点见闻
2026-05-23 08:22:52
踮脚立大功了!医生再三提醒:每天坚持5分钟,或能改善4种疾病

踮脚立大功了!医生再三提醒:每天坚持5分钟,或能改善4种疾病

医学科普汇
2026-05-22 20:45:05
罗马诺:曼联正与多名球员谈判,世界杯前至少敲定1名;TA:曼联获得英超1.915亿英镑分红

罗马诺:曼联正与多名球员谈判,世界杯前至少敲定1名;TA:曼联获得英超1.915亿英镑分红

MUREDS
2026-05-25 22:56:21
美以伊战争启示录|餐桌危机:不赚钱的冰美式外卖,不油炸的新德里炸鸡

美以伊战争启示录|餐桌危机:不赚钱的冰美式外卖,不油炸的新德里炸鸡

澎湃新闻
2026-05-25 07:18:30
汽车大局已定?明后年,拥有两辆以上燃油车的车主,坚持4不做!

汽车大局已定?明后年,拥有两辆以上燃油车的车主,坚持4不做!

阿芒娱乐说
2026-05-25 09:58:47
亨德森安菲尔德告别仪式引发小蜜蜂球迷不满,被批“真丢人”

亨德森安菲尔德告别仪式引发小蜜蜂球迷不满,被批“真丢人”

懂球帝
2026-05-25 20:28:21
演员千万别整容!看肖战,蓝盈莹“澳门红毯”同框,就懂了!

演员千万别整容!看肖战,蓝盈莹“澳门红毯”同框,就懂了!

小娱乐悠悠
2026-05-23 11:52:30
马英九亮剑硬刚!调查结果出炉,当场不服,郑丽文终究要慌了?

马英九亮剑硬刚!调查结果出炉,当场不服,郑丽文终究要慌了?

三生一梦莫
2026-05-25 00:57:33
断供5个月才发现,日本稀土库存被低估,17年前就囤了20年的用量

断供5个月才发现,日本稀土库存被低估,17年前就囤了20年的用量

壹只灰鸽子
2026-05-25 16:58:17
滴滴又一个对手,赴港IPO了

滴滴又一个对手,赴港IPO了

和讯网
2026-05-25 18:11:04
汪小菲马筱梅儿子“小七宝”近照曝光,眉眼酷似爸爸,脸型嘴巴随妈妈

汪小菲马筱梅儿子“小七宝”近照曝光,眉眼酷似爸爸,脸型嘴巴随妈妈

乡野小珥
2026-05-23 15:01:35
武契奇被授予友谊勋章 ​​​​,对外最高荣誉,已向7位元首颁发

武契奇被授予友谊勋章 ​​​​,对外最高荣誉,已向7位元首颁发

光电科技君
2026-05-25 23:12:21
订单狂飙6000%,利通电子,一战成名!

订单狂飙6000%,利通电子,一战成名!

飞鲸投研
2026-05-25 18:15:16
98年张子强被枪毙,他手下3大心腹出狱后,所做之事令人发指

98年张子强被枪毙,他手下3大心腹出狱后,所做之事令人发指

莫地方
2026-05-26 01:25:03
申万宏源:未来美国赤字压力可能重新扩大 AI投资或成美债利率新变数

申万宏源:未来美国赤字压力可能重新扩大 AI投资或成美债利率新变数

每日经济新闻
2026-05-25 07:05:06
玫瑰花茶的10种神仙喝法,家常易做,养生又好喝

玫瑰花茶的10种神仙喝法,家常易做,养生又好喝

开心美食白科
2026-05-25 02:15:25
2026CBA总决赛:节奏之争?篮板之争?剩者为王!

2026CBA总决赛:节奏之争?篮板之争?剩者为王!

体坛周报
2026-05-25 17:17:37
悲催!杭州一女子嫌国企丈夫没本事,携42万存款离婚,鸡飞蛋打了

悲催!杭州一女子嫌国企丈夫没本事,携42万存款离婚,鸡飞蛋打了

火山詩话
2026-04-27 06:40:09
搞定中年女人最快的3个“坏”招,越坏她越上头,别不信

搞定中年女人最快的3个“坏”招,越坏她越上头,别不信

皓皓情感说
2026-04-29 07:45:03
“我想通过意念杀死癌细胞!”30岁男子患癌后语出惊人,拒绝手术!医生:只有这种情况能自愈...

“我想通过意念杀死癌细胞!”30岁男子患癌后语出惊人,拒绝手术!医生:只有这种情况能自愈...

大风新闻
2026-05-25 22:07:03
2026-05-26 04:12:49
歸藏的AI工具箱 incentive-icons
歸藏的AI工具箱
关注人工智能、LLM 、 AI 图像视频和设计
306文章数 61关注度
往期回顾 全部

科技要闻

华为:没有先进光刻机也能造出高端芯片

头条要闻

伊朗媒体披露最高领袖就医情况

头条要闻

伊朗媒体披露最高领袖就医情况

体育要闻

如果不好好守门,他可能早就继承家业了

娱乐要闻

李晨郑恺跑男停宣:12年元老被边缘化

财经要闻

起底煤矿“暗面”:假整改、假数据

汽车要闻

启境GT7定档5月29日预售 提供三电机版本

态度原创

家居
艺术
本地
教育
军事航空

家居要闻

生与命相依 旧公寓改造

艺术要闻

于东来计划建小区,建筑设计用材都公开,地产界震动?

本地新闻

用云锦的方式,打开江苏南京

教育要闻

罚抄10遍被投诉,一个电话让全班没了作业,孩子就毁这类家长手里

军事要闻

俄军出动“榛树”导弹袭击乌克兰

无障碍浏览 进入关怀版