网易首页 > 网易号 > 正文 申请入驻

阿里云通义开源Qwen2.5-VL,视觉理解能力全面超越GPT-4o

0
分享至

1月28日凌晨,阿里云通义千问开源全新的视觉模型Qwen2.5-VL,推出3B、7B和72B三个尺寸版本。其中,旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军,全面超越GPT-4o与Claude3.5。新的Qwen2.5-VL能够更准确地解析图像内容,突破性地支持超1小时的视频理解,无需微调就可变身为一个能操控手机和电脑的AI视觉智能体(Visual Agents),实现给指定朋友送祝福、电脑修图、手机订票等多步骤复杂操作。



通义团队此前曾开源Qwen-VL及Qwen2-VL两代模型,支持开发者在手机、汽车、教育、金融、天文等不同场景进行AI探索,Qwen-VL系列模型全球总下载量超过3200万次,是业界最受欢迎的多模态模型。今天,Qwen-VL再度全新升级到第三代版本。根据评估,此次发布的旗舰型模型Qwen2.5-VL-72B-Instruct斩获OCRBenchV2、MMStar、MathVista等13项评测冠军,在包括大学水平的问答、数学、文档理解、视觉问答、视频理解和视觉智能体方面表现出色,全面超越GPT-4o与Claude3.5;Qwen2.5-VL-7B-Instruct 在多个任务中超越了 GPT-40-mini。

新的Qwen2.5-VL视觉知识解析能力实现了巨大飞跃:不仅能准确识别万物,还能解析图像的布局结构及其中的文本、图表、图标等复杂内容,从一张app截图中就能分析出插图和可点按钮等元素;可精准定位视觉元素,拥有强大的关键信息抽取能力,比如准确识别和定位马路上骑摩托车未戴头盔的人,或是以多种格式提取发票中的核心信息并做结构化的推理输出;OCR能力提升到全新水平,更擅长理解图表并拥有更全面的文档解析能力,在精准识别的内容同时还能完美还原文档版面和格式。





图说:Qwen2.5-VL可精准定位视觉元素,在理解图表和文档方面优势显著

Qwen2.5-VL 的视频理解能力也大幅增强,可以更好地看清动态世界。在时间处理上,新模型引入了动态帧率(FPS)训练和绝对时间编码技术,使得Qwen2.5-VL不仅能够能够准确地理解小时级别的长视频内容,还可以在视频中搜索具体事件,并对视频的不同时间段进行要点总结,从而快速、高效地帮助用户提取视频中蕴藏的关键信息。打开摄像头,你就能与Qwen2.5-VL实时对话。

视觉感知、解析及推理能力的增强,让大模型自动化完成任务、与真实世界进行复杂交互成为可能。Qwen2.5-VL甚至能够直接作为视觉智能体进行操作,而无需特定任务的微调,比如让模型直接操作电脑和手机,根据提示自动完成查询天气、订机票、下载插件等多步骤复杂任务。开发者基于Qwen2.5-VL也能快速简单开发 属于自己的AI智能体,完成更多自动化处理和分析任务,比如自动核验快递单地址与照片中的门牌号是否对应,根据家庭摄像头判断猫咪状况进行自动喂食,自动进行火灾报警等。



Qwen2.5-VL手机端AI Agent 演示:帮我给我的QQ好友张三,发送一条新春祝福

在模型技术方面,与Qwen2-VL相比,Qwen2.5-VL增强了模型对时间和空间尺度的感知能力,并进一步简化了网络结构以提高模型效率。Qwen2.5-VL创新地利用丰富的检测框、点等坐标,让模型直接感知和学习图片在空间展示上的尺寸大小;同时,在时间维度也引入了动态FPS训练和绝对时间编码,进而拥有通过定位来捕捉事件的全新能力。而在重要的视觉编码器设计中,通义团队从头开始训练了原生动态分辨率的ViT,并采用RMSNorm和SwiGLU的结构使得ViT和LLM保持一致,让Qwen2.5-VL拥有更简洁高效的视觉编解码能力。



图说:Qwen2.5-VL模型结构图

目前,不同尺寸及量化版本的Qwen2.5-VL模型已在魔搭社区、HuggingFace等平台开源,开发者也可以在Qwen Chat上直接体验最新模型。

附链接:

QwenChat:https://chat.qwenlm.ai/

魔搭社区:https://www.modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47

HuggingFace:https://huggingface.co/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

今日最佳:我爸贴的一手好春联

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
特朗普再立大功?拜登彻夜难眠!中国一夜洗刷30年的耻辱

特朗普再立大功?拜登彻夜难眠!中国一夜洗刷30年的耻辱

看世界的人
2025-02-01 16:38:16
雷来了!15只科技龙头大幅亏损,含多家央企,最高亏损接近30亿

雷来了!15只科技龙头大幅亏损,含多家央企,最高亏损接近30亿

小波股事历程
2025-02-03 11:56:58
陕西兵马俑游客羽绒服被挤爆!网友:就怕兵马俑跳出来,维持秩序

陕西兵马俑游客羽绒服被挤爆!网友:就怕兵马俑跳出来,维持秩序

火山诗话
2025-02-03 10:01:30
WTT大满贯战报:王曼昱剃光头,日本女单大获全胜,蒯曼丢局过关

WTT大满贯战报:王曼昱剃光头,日本女单大获全胜,蒯曼丢局过关

知轩体育
2025-02-02 23:52:34
张兰直播时透露,她和亲家母已分工为小菲带孩子,分工形式奇葩

张兰直播时透露,她和亲家母已分工为小菲带孩子,分工形式奇葩

美食阿鳕
2025-02-01 09:28:12
大S猝逝前最后发文曝光!曾暴瘦到35公斤,刘若英、雷军等人悼念

大S猝逝前最后发文曝光!曾暴瘦到35公斤,刘若英、雷军等人悼念

喜欢农家生活的阿律
2025-02-03 14:20:59
大舅在家族群里发话:来家里走亲戚,啥都不要拿,东西根本吃不完

大舅在家族群里发话:来家里走亲戚,啥都不要拿,东西根本吃不完

墙头草
2025-01-31 16:30:03
哪吒之魔童闹海:最大反派为何长得像南极仙翁?敖光和敖丙谁更帅

哪吒之魔童闹海:最大反派为何长得像南极仙翁?敖光和敖丙谁更帅

露珠聊影视
2025-02-02 22:05:59
袁继军跨省任正厅级新职

袁继军跨省任正厅级新职

鲁中晨报
2025-02-03 00:30:04
再次确认世界顶级黑客能入侵一台没有联网的电脑

再次确认世界顶级黑客能入侵一台没有联网的电脑

Thurman在昆明
2025-02-02 23:54:42
曝大S春节猝死,家属证实更多细节曝光,她的猝死一切有迹可循

曝大S春节猝死,家属证实更多细节曝光,她的猝死一切有迹可循

安山客
2025-02-03 12:13:46
大S流感并发肺炎,什么情况应该重视?

大S流感并发肺炎,什么情况应该重视?

铅医蔷薇
2025-02-03 11:25:06
泪目!詹皇晒拥抱照送别浓眉:永远的痛,很快再见面

泪目!詹皇晒拥抱照送别浓眉:永远的痛,很快再见面

李喜林篮球绝杀
2025-02-03 09:36:11
先生大义!果断放弃590万交易保证金,浓眉为独行侠送上见面厚礼

先生大义!果断放弃590万交易保证金,浓眉为独行侠送上见面厚礼

鬼魅突破上篮
2025-02-03 13:59:41
故事:749局退休高人口述:陆家嘴有人渡劫的真相,让人毛骨悚然

故事:749局退休高人口述:陆家嘴有人渡劫的真相,让人毛骨悚然

诡谲怪谈
2025-01-18 14:09:34
《哪吒2》中被哪吒打败的无量仙翁,是圣人之下无敌的存在

《哪吒2》中被哪吒打败的无量仙翁,是圣人之下无敌的存在

猫小狸同学
2025-02-02 22:30:02
黑老大刘涌:掌掴刘德华,扬言让他死在沈阳,最后赵本山出面解决

黑老大刘涌:掌掴刘德华,扬言让他死在沈阳,最后赵本山出面解决

一更历史
2023-10-12 22:48:42
梁文峰家更糟糕了!家人顶不住喊话:大家文明点,爷爷受不了了!

梁文峰家更糟糕了!家人顶不住喊话:大家文明点,爷爷受不了了!

沧海一书客
2025-02-02 22:54:56
10万元以内轿车:2024年销量前10款车出炉,最多一款卖了48万辆!

10万元以内轿车:2024年销量前10款车出炉,最多一款卖了48万辆!

小鹏财经
2025-02-02 21:05:04
2008年2月2日湖人交易来自己17年后换来东契奇!加索尔转发:

2008年2月2日湖人交易来自己17年后换来东契奇!加索尔转发:

直播吧
2025-02-03 14:00:03
2025-02-03 14:40:49
差评XPIN incentive-icons
差评XPIN
用知识和观点Debug the world!
8389文章数 487970关注度
往期回顾 全部

科技要闻

狂飙!比亚迪大爆发,1月销量超30万辆

头条要闻

大S生前破10年斋戒吃肉努力怀孕 曾称死后世界非常美

体育要闻

不再Stay Humble,阿森纳打崩了曼城

娱乐要闻

大S去世 过往病史公开曾屡被紧急送医

财经要闻

一场史诗级贸易战,就此开打了

汽车要闻

10万元级无图智驾 悦也PLUS全路况实测

态度原创

手机
教育
游戏
健康
军事航空

手机要闻

OPPO Find N5项目组提前开工,二月大战即将爆发

教育要闻

专访北师大教授薛贵:不提升孩子大脑的学习力,很容易陷入“低效鸡娃”

《星战前夜》公布2025年路线图 包括玩家自定任务等

抑郁症患者称好的“乌托邦”宝地

军事要闻

美黑鹰撞机女飞行员曾是拜登社交助理