简单3步部署本地国产大模型DeepSeek大模型

简单3步部署本地国产大模型DeepSeek大模型

DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。

无奈，在使用时候deepseek总是提示服务器繁忙，请稍后再试。

image-20250206154110517

本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。

image-20250206160026953 Deepseek对世界的影响 改变AI行业格局

• 
  

  • 冲击国际AI竞争态势：打破了美国等西方国家的AI巨头长期领先的局面，使全球AI竞争进入技术多极化时代，如微软、亚马逊云科技、英伟达等国际科技巨头纷纷宣布接入DeepSeek。

• • 引发行业洗牌：其他AI公司感受到压力，加快技术研发和创新步伐，如OpenAI紧急上线新一代推理模型，阿里云发布升级版通义千问旗舰模型。

• • 引发股价波动：英伟达等芯片制造商以及美国的微软、Meta和谷歌母公司Alphabet等科技巨头的股价受到冲击。

• • 改变投资风向：吸引了大量资本的关注，让投资者对中国的AI产业有了更高的期待，可能会导致更多的资金流向中国的AI企业。

• • 提供技术思路：在模型架构、算法等方面实现了多项创新，如采用创新性的混合专家架构等，为全球AI研究人员提供了新的思路。

• • 加速技术普及：开源策略让更多的开发者和企业能够接触到先进的AI技术，降低了AI技术的使用门槛，加速其在各个领域的普及。

• • 改变工作生活方式：在自然语言处理等方面的能力，可提高翻译、写作、代码生成等工作效率，在制定旅行攻略、翻译外语等日常生活场景中也广泛应用。

• • 引发伦理监管讨论：国际社会对AI伦理问题关注度提升，数据安全、隐私保护和内容监管等问题成为焦点，促使各国制定更严格的AI大模型监管政策。

部署方案：Ollama + DeepSeek-R1 + Open WebUI

笔者的电脑硬件配置如下：

系统： Window11

CPU: 13th i7-13700KF

内存： 32G

显卡：Nvidia GeForce RTX 4070Ti

可以运行大模型deepseek-r1的哪个版本的大模型？

image-20250206173953157

问deepseek得到的回答：

最佳选择：优先尝试 DeepSeek-R1-7B 4-bit量化版，平衡速度和性能；若需要更高精度，可测试 DeepSeek-R1-13B 4-bit量化版（需确保显存无其他占用）。建议关注官方发布的轻量化版本或社区优化方案（如GPTQ）。

什么是Ollama

Ollama是一个开源项目，旨在让用户能够轻松地在其本地计算机上运行大型语言模型（LLM），是一个开源的大型语言模型服务。它支持各种LLM，包括Llama 3、Mistral和Gemma。

提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

img

Ollama官网： https://ollama.com/

Ollama GitHub仓库：https://github.com/ollama/ollama

第一步、安装Ollama 下载Ollama

Ollama下载地址：https://ollama.com/download

支持macOS、Linux、Windows系统，根据自己的系统，下载安装包：

Download for windows

image-20250206165950047 安装Ollama

windows系统下安装也比较方便，双击打开 install

image-20240511151331009

安装完成没有提示，我们打开一个终端，本文以Windows PowerShell为例，大家也可以使用其他的：

image-20240511151503523

现在Ollama已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。

ollama run qwen

安装成功，随便问几个问题。

image-20240511151923267

理论上就安装完成了，可以只在命令行中使用大模型了。

修改路径文件保存路径

可以不用改，如果C盘空间不够用，建议修改。

可以看到，系统正在下载qwen的模型（并保存在C盘，C:\Users .ollama\models 如果想更改默认路径，可以通过设置OLLAMA_MODELS进行修改，然后重启终端，重启ollama服务。）

setx OLLAMA_MODELS "D:\ollama\model"

https://ollama.com/library/deepseek-r1

DeepSeek-R1模型有多个版本，可以根据需要选择不同版本，例如 ollama run deepseek-r1:671b，详情如下（模型参数越大，需要配置越高）：

在DeepSeek-R1系列中，还有1.5B、7B、8B、14B、32B、70B、671B等不同参数规模的型号。这些不同规模的模型在模型能力、资源需求和应用场景上有所不同。

ollama run deepseek-r1:1.5b  【电脑配置低的可以运行此版本，根据文件大小和网络情况，下载时间也不确定】 ollama run deepseek-r1:7b ollama run deepseek-r1:8b ollama run deepseek-r1:14b ollama run deepseek-r1:32b ollama run deepseek-r1:70b ollama run deepseek-r1:671b

我这里选择运行7b（70亿参数）

img Ollama常用命令（可忽略）

省流版命令： ollama list 和 ollama rm [模型名称] 。

模型管理

1. 1. 创建模型

   • • 命令： ollama create [Modelfile路径]

   • • 功能：使用包含模型信息的Modelfile来创建一个新模型。

2. 2. 显示模型信息

   • • 命令1： ollama show [模型名称]

   • • 功能：显示特定模型的详细信息，如模型名称、版本等。

   • • 命令2： /show （在会话界面中使用）

3. 3. 列出所有模型

   • • 命令1： ollama list

   • • 命令2： ollama ls

   • • 功能：列出本地所有可用的模型，可以在这里查找模型名称。

4. 4. 从注册表中拉取模型

   • • 命令： ollama pull [模型名称]

   • • 功能：从模型注册表中拉取一个模型到本地使用。

5. 5. 将模型推送到注册表

   • • 命令： ollama push [模型名称]

   • • 功能：将本地模型推送到模型注册表中，以便他人或其他系统使用。

6. 6. 复制模型

   • • 命令： ollama cp [原模型名称] [新模型名称]

   • • 功能：复制一个模型到另一个位置或给定名称的地方。

7. 7. 删除模型

   • • 命令： ollama rm [模型名称]

   • • 功能：删除一个已安装的模型。

1. 1. 运行模型

   • • 命令： ollama run [模型名称]

   • • 功能：运行一个已安装的模型，执行某些任务。可以根据需要指定模型的参数和配置。

2. 2. 加载模型

   • • 命令： /load

   • • 功能：在会话界面中加载一个特定的模型或会话。可以指定一个模型的名称或路径来加载它。

3. 3. 保存模型或会话状态

   • • 命令： /save

   • • 功能：在会话界面中保存当前的会话状态或模型。可以将当前会话或模型的配置保存为一个文件，以便以后使用。

4. 4. 清理上下文

   • • 命令： /clear

   • • 功能：清除会话上下文。这将删除当前会话中的所有历史记录或对话内容。

5. 5. 退出对话模型

   • • 命令： /bye

   • • 功能：退出当前与模型的对话，并退出程序。

1. 1. 获取帮助信息

   • • 命令1： ollama help [命令名称]

   • • 命令2： ollama --help

   • • 功能：获取有关Ollama任何命令的帮助信息。如果指定了命令名称，则显示该命令的详细帮助信息。

2. 2. 查看版本信息

   • • 命令1： ollama version

   • • 命令2： ollama -v

   • • 命令3： ollama --version

   • • 功能：显示当前Ollama工具的版本信息。

3. 3. 查看快捷键

   • • 命令： /?shortcuts

   • • 功能：在会话界面中查看键盘快捷键的帮助信息，帮助更快速地进行操作。

4. 4. 设置会话参数和配置

   • • 命令： /set 参数名 参数值

   • • 功能：用于设置会话参数和配置，例如设置消息格式、启用或禁用历史记录等。

Open WebUI是一个用于在本地运行大型语言模型（LLM）的开源Web界面。

Open WebUI是在docker中安装的，所以要先安装docker。

在window下安装docker 1.启动Hyper-v

打开控制面板，在程序与功能页面选择启用或Windows功能

image-20240511153112805

然后，重启计算机。

2.安装WSL

打开 powershell，以管理员的身份启动命令窗口，输入

wsl --install

如果不是已管理员身份启动则会报错：请求的操作需要提升

image-20240511154319596

然后再次重启电脑。

image-20240511172942703 3.下载Docker软件

点击下载链接：https://docs.docker.com/desktop/install/windows-install/

image-20240511153811506 4.安装Docker image-20240511155742842 第三步、使用Docker部署Open WebUI

开源地址： https://github.com/open-webui/open-webui

参考： https://github.com/open-webui/open-webui?tab=readme-ov-file#installation-with-default-configuration

可以看到，如果你的Ollama和Open WebUI在同一台主机，那使用下面显示的这一行命令就可以在本地快速进行部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 由于我的电脑有GPU 此时我使用的是： docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

现在我们打开终端，比如powershell，然后输入docker，回车

image-20240511173724816

然后将上边在docker中部署Open WebUI的命令复制后粘贴到终端中，回车。

docker安装open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果您仅使用 OpenAI API，请使用以下命令：

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果仅适用于 CPU，不使用 GPU，请改用以下命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

安装完成后，在Docker Desktop中可以看到Open WebUI的web界面地址为：http://localhost:3000

或者内网IP+端口，这样局域网的其他人也可以访问到，甚至是通过内网穿透，让其他人也可以访问。

image-20240511175350983

注册账号点击 sign up

登录

image-20240511175608965 设置为简体中文

点击右上角的设置，可以修改当前界面的语言为简体中文：然后点击保存即可。

image-20240511175737460

点击上方选择一个模型旁边的加号+可以增加大模型，点击下拉按钮可以选择当前使用哪一个已安装的模型，接下来就可以愉快的跟ai聊天了！

image-20250206172954722 结束语

从环境准备到获取模型文件，再到加载并运行模型，整个过程清晰明了，适合初学者和有一定经验的开发者。

使用Ollama在本地搭建DeepSeek具有充分利用本地算力、保护数据隐私、便捷更新模型等优点，但同时也存在硬件要求高、技术门槛高、部署过程繁琐等缺点。用户在选择是否进行本地部署时，应根据自己的实际需求和技术水平进行权衡。

写文不易，如果你都看到了这里，请点个赞和在看，分享给更多的朋友；也别忘了关注星哥玩云！这里有满满的干货分享，还有轻松有趣的技术交流～点个赞、分享给身边的小伙伴，一起成长，一起玩转技术世界吧！