在当今数字化时代,拥有一个专属的AI助手无疑会大大提高我们的工作效率和生活质量。本文将详细介绍如何在Ubuntu系统上本地部署DeepSeek-R1模型,并通过将其集成到应用中,从而构建一个私人专属的AI助手。

前置准备

在开始部署之前,确保你的系统和硬件满足以下要求:

  • 系统:Ubuntu 20.04 或更高版本
  • 硬件:Intel Core I9-13900K 、Nvidia A6000(48G显存)
  • 软件:Conda、cuda、Pytorch

部署流程

1. 安装 Ollama

在 Ubuntu 中,可以通过以下命令直接安装 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

由于国内网络原因,安装可能会比较慢,如果降速可以先Ctrl c 终端再续上。

安装完成后,你将看到类似以下的信息。运行 ollama -v 命令,可以输出 Ollama 的版本号。安装脚本会将 Ollama 设置为开机自动启动的服务,并通过 systemd 服务管理工具确保其在系统启动时运行,以及在异常退出时自动重启。

2. 部署 DeepSeek 推理模型

根据你的实际环境配置,选择合适的 DeepSeek 模型进行部署。如果你是初次安装,或者显卡资源有限,建议先安装 1.5B 或 7B 尺寸的模型。

运行以下命令安装 DeepSeek R1 模型:

ollama run deepseek-r1:32b

这里我选择的是 32b 模型,即 DeepSeek-R1-Distill-Qwen-32B。这是基于 DeepSeek-R1 和 Qwen 蒸馏后的模型,其性能在官网上有如下描述:DeepSeek-R1-Distill-Qwen-32B 在各种基准测试中优于 OpenAI-o1-mini,为密集模型实现了新的最佳性能。

在命令行中使用模型体验较差,接下来我们 将 DeepSeek 模型集成到 chatbox 应用中。

3. 下载chatbox

官网:https://chatboxai.app/zh

4. 将 DeepSeek 模型接入 chatbox

在 chatbox 平台右上角点击just chat → 设置 → 模型供应商,选择 Ollama,并点击“添加模型”。

添加配置信息如下:

  1. Model Name:填写具体部署的模型型号。例如,上文部署的模型型号为 deepseek-r1:32b
  2. Base URL:填写 Ollama 客户端的运行地址,通常为 http://your_ollama_server_ip:11434
  3. 其他选项可以保持默认值或根据实际需要填写。

5.本地与ollama的远程服务进行对接。

在 MacOS 上配置

  1. 打开命令行终端,输入以下命令:

    launchctl setenv OLLAMA_HOST "0.0.0.0"
    launchctl setenv OLLAMA_ORIGINS "*"
  2. 重启 Ollama 应用,使配置生效。

在 Windows 上配置

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

  1. 通过任务栏退出 Ollama。

  2. 打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

  3. 点击编辑你账户的环境变量。

    为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *****。

  4. 点击确定/应用以保存设置。

  5. 从 Windows 开始菜单启动 Ollama 应用程序。

在 Linux 上配置

如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置环境变量:

  1. 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。

  2. 在 [Service] 部分下为每个环境变量添加一行 Environment:

    [Service]
    Environment="OLLAMA_HOST=0.0.0.0"
    Environment="OLLAMA_ORIGINS=*"
  3. 保存并退出。

  4. 重新加载 systemd 并重启 Ollama:

    systemctl daemon-reload
    systemctl restart ollama

启动:ollama run deepseek-r1:32b

image


参考链接

https://ollama.com/library/deepseek-r1

https://zhuanlan.zhihu.com/p/24356664924