在 AWS 上通过宝塔面板私有化部署 DeepSeek-R1 蒸馏模型

介绍

亚马逊云科技一直在持续关注客户需求与技术发展，并为客户提供丰富且有深度的模型。随着 DeepSeek V3 以及 R1 模型的出现，亚马逊云科技也即时为客户提供了部署方案。目前，您可以在 Amazon Bedrock 以及 Amazon SageMaker AI 中部署 DeepSeek-R1 模型。Amazon Bedrock 最适合那些希望使用 API 快速集成预训练模型的团队；Amazon SageMaker AI 则非常适合自己进行高级定制、训练和部署、调用基础设施的团队。

本文为您提供了另一种部署方案，我们通过在 Amazon EC2 上使用宝塔面板私有化部署蒸馏后的 DeepSeek-R1 模型。这个方案易于搭建，支持在北京 BJS 以及宁夏 ZHY 区域部署，让您轻松体验私有化的 DeepSeek 模型。

前提条件

已注册亚马逊中国区或海外区账户

操作步骤

启动 EC2 实例

登陆进入亚马逊云科技账户，在搜索框中输入 EC2 并进入 EC2 界面，在右侧导航栏点击实例后，点击启动新实例。
应用程序和操作系统选择 Ubuntu 如截图所示。
以 DeepSeek-R1:8B 模型为例，即 DeepSeek-R1-Distill-Llama-8B，我们需要启动一个 t2.xlarge 大小，存储为 32GiB 的实例。随后我们选择或创建新密钥对。网络设置的安全组部分勾选创建安全组以及三个规则。
存储部分选择 32GiB。随后点击启动实例，并回到 EC2 实例界面。
等待实例启动。如截图所示，代表实例启动成功。

部署宝塔面板

首先我们需要连接实例。勾选中实例后点击右上角的连接。选择 EC2 Instance Connect 的连接方式，不需要更改任何配置，直接点击连接。
看到如下截图这个网页版终端页面即为连接成功，接下来我们就可以开始安装宝塔面板。复制下方代码网页版终端页面到并运行。运行中在被提问时需要输入 y 并回车，之后等待安装完成。
```
sudo su
sudo apt update && sudo apt upgrade
wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh ed8484bec
```
完成后继续在网页版终端页面运行代码，并保存外网面板地址，username 以及 password。注意外网面板地址中冒号后面的 4 到 6 位端口号，这里是 16386，我们需要为这个端口配置安全组。
```
bt 26 && bt 14
```
在访问宝塔面板之前，我们需要先配置安全组，打开 EC2 实例界面，选中实例，在下方点击“安全”，点击“安全组”这里的连接。
点击右下方“编辑入站规则”，点击添加规则，并添加一条自定义 TCP，端口为宝塔外网面板地址中端口号，这里为 16386。源这里选择 0.0.0/0，您可以根据您的需求限制访问源。点击保存规则。
现在我们可以将之前保存的宝塔外网面板地址在浏览器中打开。输入 username 以及 password 即可登陆。在右侧导航栏选择 Docker。首次使用 Docker 需要先安装，点击安装。

在中国区使用需要配置加速 URL，在 Docker- 设置中，点击打开配置文件，将文件内容替换为如下代码。

{
  "registry-mirrors": [
    "https://2a6bf1988cb6428c877f723ec7530dbc.mirror.swr.myhuaweicloud.com",
    "https://docker.m.daocloud.io",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://your_preferred_mirror",
    "https://dockerhub.icu",
    "https://docker.registry.cyou",
    "https://docker-cf.registry.cyou",
    "https://dockercf.jsdelivr.fyi",
    "https://docker.jsdelivr.fyi",
    "https://dockertest.jsdelivr.fyi",
    "https://mirror.aliyuncs.com",
    "https://dockerproxy.com",
    "https://mirror.baidubce.com",
    "https://docker.m.daocloud.io",
    "https://docker.nju.edu.cn",
    "https://docker.mirrors.sjtug.sjtu.edu.cn",
    "https://docker.mirrors.ustc.edu.cn",
    "https://mirror.iscas.ac.cn",
    "https://docker.rainbond.cc"
  ]
}

我们在回到网页版终端页面重启 Docker，运行代码。
```
sudo systemctl daemon-reload
sudo systemctl restart docker
```
在回到宝塔面板中，Docker- 应用商店，输入 Ollama，默认配置即可，点击安装；安装完成后，状态变为运行中。
在 Docker- 容器界面中找到 Ollama 容器，点击终端。在弹框中 shell 类型选择 bash，点击确认。
在终端界面中输入代码，回车运行。这里运行的是 DeepSeek-R1 8B 模型。等待下载并运行后，当看到如下提示表示模型运行成功。您可以在页面中输入文本并回车，开启与 DeepSeek-R1 模型的对话。在终端输入 /bye 并回车，即可退出。
```
ollama run deepseek-r1:8b
```

在浏览器中基于网页页面使用 DeepSeek 模型

为了更美观简易地与 DeepSeek 模型对话，我们将安装 OpenWebUI。在宝塔面板 Docker- 容器界面中，点击 Ollama 右侧的管理，进入容器管理界面，获取容器 IP，这里为 172.18.0.2，保存备用。
在宝塔面板 Docker- 应用商店中搜索 OpenWebUI，点击安装。在配置中 Ollama 地址处，填入 http://刚刚获取的Ollama容器IP:11434，例如 http://172.18.0.2:11434。其他配置默认即可。配置完成后点击确认，等待安装完成，状态变为运行中。
等待安装的过程中，我们需要重复之前给安全组加规则的操作，为 OpenWebUI 开放 3000 端口。
安装完成后等待 3-5 分钟，在浏览器中输入 http://EC2实例公共IPv4地址:3000 访问 OpenWebUI 界面，EC2 实例公共 IPv4 地址与宝塔外板外网面板地址冒号前的内容相同，也可在 EC2 实例详情页面上找到。
在 OpenWebUI 中点击开始使用，设置管理员相关信息，并点击创建管理员账号后，会自动进入界面，您可以在浏览器中更直观地与 DeepSeek-R1 模型对话。

结语

本文讲解了在 EC2 上搭建宝塔面板、下载 Ollama 以及 OpenWebUI 的方式完成了 DeepSeek-R1:8b 模型的部署。如您有更多需求，如使用 GPU 部署大参数模型如 70B、微调 DeepSeek 模型等，欢迎您联系亚马逊云科技客户经理，期待您的咨询和反馈，我们会与您进一步探讨。

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。

亚马逊AWS官方博客