网易首页 > 网易号 > 正文 申请入驻

阿里云通义开源Qwen2.5-VL,视觉理解能力全面超越GPT-4o

0
分享至

1月28日凌晨,阿里云通义千问开源全新的视觉模型Qwen2.5-VL,推出3B、7B和72B三个尺寸版本。其中,旗舰版Qwen2.5-VL-72B在13项权威评测中夺得视觉理解冠军,全面超越GPT-4o与Claude3.5。新的Qwen2.5-VL能够更准确地解析图像内容,突破性地支持超1小时的视频理解,无需微调就可变身为一个能操控手机和电脑的AI视觉智能体(Visual Agents),实现给指定朋友送祝福、电脑修图、手机订票等多步骤复杂操作。



通义团队此前曾开源Qwen-VL及Qwen2-VL两代模型,支持开发者在手机、汽车、教育、金融、天文等不同场景进行AI探索,Qwen-VL系列模型全球总下载量超过3200万次,是业界最受欢迎的多模态模型。今天,Qwen-VL再度全新升级到第三代版本。根据评估,此次发布的旗舰型模型Qwen2.5-VL-72B-Instruct斩获OCRBenchV2、MMStar、MathVista等13项评测冠军,在包括大学水平的问答、数学、文档理解、视觉问答、视频理解和视觉智能体方面表现出色,全面超越GPT-4o与Claude3.5;Qwen2.5-VL-7B-Instruct 在多个任务中超越了 GPT-40-mini。

新的Qwen2.5-VL视觉知识解析能力实现了巨大飞跃:不仅能准确识别万物,还能解析图像的布局结构及其中的文本、图表、图标等复杂内容,从一张app截图中就能分析出插图和可点按钮等元素;可精准定位视觉元素,拥有强大的关键信息抽取能力,比如准确识别和定位马路上骑摩托车未戴头盔的人,或是以多种格式提取发票中的核心信息并做结构化的推理输出;OCR能力提升到全新水平,更擅长理解图表并拥有更全面的文档解析能力,在精准识别的内容同时还能完美还原文档版面和格式。





图说:Qwen2.5-VL可精准定位视觉元素,在理解图表和文档方面优势显著

Qwen2.5-VL 的视频理解能力也大幅增强,可以更好地看清动态世界。在时间处理上,新模型引入了动态帧率(FPS)训练和绝对时间编码技术,使得Qwen2.5-VL不仅能够能够准确地理解小时级别的长视频内容,还可以在视频中搜索具体事件,并对视频的不同时间段进行要点总结,从而快速、高效地帮助用户提取视频中蕴藏的关键信息。打开摄像头,你就能与Qwen2.5-VL实时对话。

视觉感知、解析及推理能力的增强,让大模型自动化完成任务、与真实世界进行复杂交互成为可能。Qwen2.5-VL甚至能够直接作为视觉智能体进行操作,而无需特定任务的微调,比如让模型直接操作电脑和手机,根据提示自动完成查询天气、订机票、下载插件等多步骤复杂任务。开发者基于Qwen2.5-VL也能快速简单开发 属于自己的AI智能体,完成更多自动化处理和分析任务,比如自动核验快递单地址与照片中的门牌号是否对应,根据家庭摄像头判断猫咪状况进行自动喂食,自动进行火灾报警等。



Qwen2.5-VL手机端AI Agent 演示:帮我给我的QQ好友张三,发送一条新春祝福

在模型技术方面,与Qwen2-VL相比,Qwen2.5-VL增强了模型对时间和空间尺度的感知能力,并进一步简化了网络结构以提高模型效率。Qwen2.5-VL创新地利用丰富的检测框、点等坐标,让模型直接感知和学习图片在空间展示上的尺寸大小;同时,在时间维度也引入了动态FPS训练和绝对时间编码,进而拥有通过定位来捕捉事件的全新能力。而在重要的视觉编码器设计中,通义团队从头开始训练了原生动态分辨率的ViT,并采用RMSNorm和SwiGLU的结构使得ViT和LLM保持一致,让Qwen2.5-VL拥有更简洁高效的视觉编解码能力。



图说:Qwen2.5-VL模型结构图

目前,不同尺寸及量化版本的Qwen2.5-VL模型已在魔搭社区、HuggingFace等平台开源,开发者也可以在Qwen Chat上直接体验最新模型。

附链接:

QwenChat:https://chat.qwenlm.ai/

魔搭社区:https://www.modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47

HuggingFace:https://huggingface.co/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

今日最佳:我爸贴的一手好春联

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
首秀造进球!曼联外租废柴获评全场最佳 离开老特拉福德就爆发?

首秀造进球!曼联外租废柴获评全场最佳 离开老特拉福德就爆发?

雪狼侃体育
2025-02-03 12:46:31
大 S 育儿遭质疑:玥儿仪态失色背后的隐忧

大 S 育儿遭质疑:玥儿仪态失色背后的隐忧

述家娱记
2024-12-23 10:17:26
2024年东北三省GDP10强城市:哈尔滨超6000亿,吉林第7,锦州入围

2024年东北三省GDP10强城市:哈尔滨超6000亿,吉林第7,锦州入围

阿凫爱吐槽
2025-02-03 16:29:21
春晚上的“赛博秧歌”火了!外国网友:肯定还有别的“绝活”

春晚上的“赛博秧歌”火了!外国网友:肯定还有别的“绝活”

上观新闻
2025-02-03 09:01:15
不打垮中国不罢休?国际局势突变!“大鱼”终于现身,不是美国

不打垮中国不罢休?国际局势突变!“大鱼”终于现身,不是美国

听风者说
2025-02-01 15:33:38
又喝死一个,法院判决在场4人赔72万!法官告诉你:同席者谁可免责?

又喝死一个,法院判决在场4人赔72万!法官告诉你:同席者谁可免责?

法律读品
2025-02-02 22:40:19
马布里这瓜确实有点大!如果是真的,这些冠军和荣誉该怎么办?

马布里这瓜确实有点大!如果是真的,这些冠军和荣誉该怎么办?

红原体育
2025-02-02 15:27:56
湖南股民李女士195元抄底中国中免,两年后跌到60元,亏损135万

湖南股民李女士195元抄底中国中免,两年后跌到60元,亏损135万

芯怡飞
2024-08-24 12:51:12
家属证实:大S因流感肺炎病逝,称将在日本火化

家属证实:大S因流感肺炎病逝,称将在日本火化

南方都市报
2025-02-03 12:11:04
复旦大学副教授郑骁庆谈DeepSeek:AI行业不只有“规模法则”,开源将加速模型更新,芯片需求可能不降反增

复旦大学副教授郑骁庆谈DeepSeek:AI行业不只有“规模法则”,开源将加速模型更新,芯片需求可能不降反增

每日经济新闻
2025-02-02 23:23:05
《哪吒之魔童闹海》有望打破中国影史票房纪录,导演饺子称试过外包给国际团队但效果不理想

《哪吒之魔童闹海》有望打破中国影史票房纪录,导演饺子称试过外包给国际团队但效果不理想

金融界
2025-02-02 14:35:12
宋慧乔新发型引热议:造型翻车还是光线问题?

宋慧乔新发型引热议:造型翻车还是光线问题?

述家娱记
2025-02-03 11:05:18
王石发了一条朋友圈,关于万科…

王石发了一条朋友圈,关于万科…

说财鲸
2025-02-01 18:19:50
李嘉诚,大撤退!抛45%股份,疯狂套现,业内:2025年市场恐生变

李嘉诚,大撤退!抛45%股份,疯狂套现,业内:2025年市场恐生变

南生今世说
2025-02-01 14:40:43
拉什福德:我非常欣赏维拉的踢球方式,祝曼联一切顺利

拉什福德:我非常欣赏维拉的踢球方式,祝曼联一切顺利

懂球帝
2025-02-03 07:04:15
导游爆料:大S年初一日本泡过温泉,王伟忠回应最后见她一面情景

导游爆料:大S年初一日本泡过温泉,王伟忠回应最后见她一面情景

晓徙历史
2025-02-03 19:54:25
多存钱,存款达到“这个数”,你的家庭就会很有底气,千万别理财

多存钱,存款达到“这个数”,你的家庭就会很有底气,千万别理财

蓝色海边
2025-01-27 22:23:34
台海打响第一枪后,解放军全力武统,真能在96个小时内结束战斗?

台海打响第一枪后,解放军全力武统,真能在96个小时内结束战斗?

慎独赢
2025-01-29 23:20:58
奥克兰公园有人偷黑天鹅,塞包里带走!“可能带回家吃了……”

奥克兰公园有人偷黑天鹅,塞包里带走!“可能带回家吃了……”

发现新西兰
2025-02-03 12:26:05
大S财产继承引争议,传去年立好遗嘱,财产归母亲和两个孩子所有

大S财产继承引争议,传去年立好遗嘱,财产归母亲和两个孩子所有

它是乔巴阿
2025-02-03 16:58:56
2025-02-03 21:16:49
差评XPIN incentive-icons
差评XPIN
用知识和观点Debug the world!
8389文章数 487970关注度
往期回顾 全部

科技要闻

狂飙!比亚迪大爆发,1月销量超30万辆

头条要闻

汪小菲和妻子抵达台湾 90度鞠躬求大家多说大S好话

体育要闻

不再Stay Humble,阿森纳打崩了曼城

娱乐要闻

导游曝大S离世过程!曾2次急救车送医

财经要闻

一场史诗级贸易战,就此开打了

汽车要闻

10万元级无图智驾 悦也PLUS全路况实测

态度原创

艺术
数码
亲子
时尚
教育

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

数码要闻

英伟达称 Reflex 2 低延迟技术初期仅支持 RTX 50 系显卡

亲子要闻

家里的孩子压岁钱不上交怎么办,用此方法亲测有效

中年女人穿“羽绒服”,必须牢记这三点,才能穿得时髦又显瘦

教育要闻

湖北八年级数学拓展培优题,这道题目你有思路吗?