1张4090，本地部署多模态大模型

大家好，我是 Ai 学习的老章

我对阿里通义千问十分喜爱，单说私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，纯硬件成本保底 150 万（英伟达 H20 141GB 版），如果是国产算力，保底 200 万了。但阿里的推理模型 QwQ:32B，只需要 4 张 4090 就行了（成本 10 几个 w），表现非常优异，很多场景可以替代 DeepSeek。具体参看 [[2025-03-22-大模型推理引擎vllm，启动QwQ-32B]] 而多模态大模型 Qwen2.5-VL-32B 也只需要 4 张卡，7B 只需要 1 张！

Qwen2.5-VL 简介

Qwen2.5-VL 是阿里通义千问团队开源的旗舰视觉语言模型，有 3B、7B、32B、72B 等不同规模。该模型在视觉理解方面表现出色，能够识别常见物体，分析图像中的文本、图表等元素。

Qwen2.5-VL 具备作为视觉 Agent 的能力，可以推理并动态使用工具，初步操作电脑和手机。在视频处理上，Qwen2.5-VL 能够理解超过 1 小时的长视频，精准定位相关片段捕捉事件。模型还支持发票、表单等数据的结构化输出。

Qwen2.5-VL 在多个性能测试中表现优异，在文档和图表理解方面优势明显，7B 模型在多项任务中超越了 GPT-4o-mini。模型的推出为开发者提供了强大的工具，能够在多种应用场景中发挥重要作用。

本文我们主要介绍 Qwen2.5-VL-7B 本地化部署

下载模型

从 modelscope 下载，毕竟 huggingface 网不通。

模型文件：https://modelscope.cn/models/Qwen/Qwen2.5-VL-7B-Instruct/files

安装 modelscope：pip install modelscope

下载完整模型库：modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir /home/data-local/qwen25VL

将模型下载到指定的本地目录 "/home/data-local/qwen25VL" 中。

一共 16 个 GB

推理引擎选择 vLLM

安装 vllm：pip install vllm

运行大模型：

CUDA_VISIBLE_DEVICES=4  vllm serve /ModelPath/Qwen2.5-VL-7B-Instruct --port 8000  --host 0.0.0.0 --dtype bfloat16  --limit-mm-per-prompt image=5,video=5 --max-model-len 16384

我的机器前 4 张卡被占用了，所以我是用第五张卡来启动 Qwen2.5-VL-7B，指定 CUDA_VISIBLE_DEVICES=4（第一张卡编号是 0）

使用

直接上 openweb-ui

安装：pip install open-webui

运行：open-webui serve

浏览器打开 http://locahost:8080

如果是服务器部署，把 localhost 改为服务器 ip

正常注册登陆

右上角点击头像，点击管理员面板

点击设置 - 外部链接，照着抄一下，api key 随便填写

然后回到前端，左上角添加模型那里就可以找到 Qwen2.5-VL-7B-Instruct 了

上传图片，随便问个问题，回答很精准

再来一张

它的回复是： 这一张图片是一张带有文字的图，描绘了两个人的脸部，一个表情平静，另一个表情有些惊讶或困惑。图片下的文字写着："产品说，做一个需求：手机摇一摇，让周围人的支付宝余额都转我卡里！" 这句话的字面含义是指开发人员提出一个荒谬的需求，即通过摇手机来实现将附近人的支付宝余额转移到他们的卡里。这种需求显然是不现实和技术上不可行的。这幅图可能用于表达对不台理或无法实现的技术需求的讽刺或幽默。

卡不够的同学，真的可以试试这个 7B 版本。开源做到这个程度，属实无可挑剔了。

88

制作不易，如果这篇文章觉得对你有用，可否点个关注。给我个三连击：点赞、转发和在看。若可以再给我加个，谢谢你看我的文章，我们下篇再见！