阿里开源多模态模型,7B参数掀翻谷歌!看一眼秒出食谱,唠嗑更像人

本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。

作者 | 陈骏达
编辑 | 心缘

智东西3月27日报道，今天，阿里巴巴通义千问发布了新一代端到端多模态旗舰模型Qwen2.5-Omni-7B。这一模型能够实时处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音合成输出。

该模型现已在Hugging Face、魔搭、DashScope和GitHub上开源，采用宽松的Apache 2.0开源协议，模型论文也全面开源，详解了背后的技术细节。同时，用户可以在Demo中体验互动功能，或是在Qwen Chat中像打电话或视频通话一样与Qwen聊天。

千问团队称，Qwen2.5-Omni采用了全新的Thinker-Talker架构，支持跨模态理解和流式文本、语音响应，支持分块输入和即时输出。

在与同等规模的模型进行基准测试比较时，Qwen2.5-Omni表现出一定优势，并超过了Gemini 1.5 Pro和GPT-4o-mini等闭源模型。

Qwen2.5-Omni在音频能力上优于类似大小的Qwen2-Audio，并与Qwen2.5-VL-7B保持同等水平。在权威多模态理解测试OmniBench上，Qwen2.5-Omni获得了SOTA表现，超越Gemini 1.5 Pro，提升幅度达30.8%。

Qwen2.5-Omni在端到端语音指令跟随方面表现出与文本输入处理类似的效果，在MMLU通用知识理解和GSM8K数学推理等基准测试获得了不错的成绩。

开源地址：https://huggingface.co/Qwen/Qwen2.5-Omni-7B

论文地址：https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf

Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo

一、全模态实时交互，看一眼食材秒出食谱

在博客文章中，千问团队放出了多个Qwen2.5-Omni在现实世界多模态场景中的测试案例。

目前，Qwen2.5-Omni共有Cherry和Ethan两种语音可供选择。Cherry音色对应的是女声，Ethan音色对应的是男声。从听感来看，这两种语音真实、自然，会在说话时加入停顿、语气词等内容。

Qwen2.5-Omni能在场景中实时处理、分析多模态内容。

例如，在下厨时，可以拿着食材询问通义应该如何处理，或是环视厨房里的调料，看究竟应该用哪些调料，可谓是厨房小白福音了。

Qwen2.5-Omni能听懂音乐，判断歌曲是什么风格，采用了何种音调，并提出对原创歌曲歌词、节奏等方面的意见。

在绘画时，Qwen2.5-Omni可以根据草图判断绘画内容，还能给出画面的构图建议。

此外，Qwen2.5-Omni还可以在户外场景判断天气、在学习场景中辅助解题、论文阅读，具备较好的通用多模态能力。

二、自研端到端架构，获得多模态理解基准测试SOTA

Qwen2.5-Omni采用Thinker-Talker双核架构。Thinker模块如同大脑，负责处理文本、音频、视频等多模态输入，生成高层语义表征及对应文本内容。

Talker模块则类似发声器官，以流式方式接收Thinker实时输出的语义表征与文本，流畅合成离散语音单元。

Thinker基于Transformer解码器架构，融合音频/图像编码器进行特征提取；Talker则采用双轨自回归Transformer解码器设计，在训练和推理过程中直接接收来自Thinker的高维表征，并共享全部历史上下文信息，形成端到端的统一模型架构。

千问团队还提出了一种新的位置编码技术，称为TMRoPE（Time-aligned Multimodal RoPE），通过时间轴对齐实现视频与音频输入的同步。

在多项基准测试中，Qwen2.5-Omni在包括图像，音频，音视频等各种模态下的表现都优于类似大小的单模态模型以及闭源模型。

值得一提的是，在多模态理解基准测试OmniBench上，Qwen2.5-Omni达到了SOTA表现，其得分为56.13%，超过第2名Gemini 1.5 Pro的42.91%。

在视频到文本任务上，Qwen2.5-Omni也超过了原本的开源SOTA模型和GPT-4o-mini。

在其他基准测试中，如语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）以及语音生成（Seed-tts-eval和主观自然听感），Qwen2.5-Omni的成绩均超过了Qwen家族的其他单模态模型。

结语：更强大的Qwen2.5-Omni还在路上

Qwen2.5-Omni-7B一经发布便获得海内外用户的关注，有不少网友已经开启了催更模式，比如增加对小语种的支持、开发千问海外App，或是与智能眼镜等硬件结合。

据千问团队介绍，未来，他们还会发布能力更强、速度更快的模型，并扩展其多模态输出能力，涵盖图像、视频和音乐等多种形式。