在本地愉快地部署 DeepSeek 到 Ollama：一个轻松指南

自2025/2/14起，本文已采用 copyright协议，禁止转载/商业使用——作者。

在学习的时候配上纯音乐吧！

嗯，最近我在学习如何在本地部署模型，想着能不能把 DeepSeek 搬到 Ollama 里，这样用起来应该挺方便的吧！作为一个新手，我决定写一篇文章分享我的探索过程，希望能帮到像我一样的小白。

准备阶段：安装好装备

首先，我需要准备好几个“装备”，这些装备是部署 DeepSeek 的必要条件：

操作系统：当然是需要一台能流畅运行的电脑，Windows、Mac 或者 Linux 都可以。硬件：显卡、内存、硬盘空间都需要足够的容量。

编程环境：我选择了 Python，毕竟机器学习离不开它。所以，我得先安装 Python 和一些必要的依赖库，比如 numpy 和 pandas。这些库可以通过 pip 安装：

1

pip install numpy pandas

深度学习框架：为了训练或部署模型，我需要 PyTorch 或 TensorFlow。这里我选择了 PyTorch，因为它感觉更友好一些。安装命令是：

1

pip install torch torchvision

下载 DeepSeek 模型：资源准备

接下来，我需要下载 DeepSeek 的模型文件。这个模型可是个大家伙，下载的时候要注意：

选择模型大小：

DeepSeek 有小有大，小版本适合在本地测试，大版本则适合实际应用。我选择了中等大小的模型，大约 20GB 左右。下载速度：别问我为什么，就是喜欢快一点。所以我选择了网速好的时间下载，大概花了我一个晚上。存储位置：下载完成后，我不会让它孤零零地躺在硬盘里，而是用 mkdir -p models/deepseek 创建了一个专门的目录，方便以后管理。（推荐这么做）

架构搭建：本地服务器搭建 现在，我需要搭建一个本地服务器，让它能处理 DeepSeek 的请求。这里有两个选择：本地服务框架和 Ollama。我选择了 Ollama，因为它简单易用，而且我也不太想写复杂的 API。

安装 Ollama: 首先，我需要安装 Ollama。这是一个轻量级的 API，支持多种语言。安装命令是：

1
2
3


git clone --recursive https://github.com/ollama/ollama-stable
cd ollama-stable
python setup.py install

配置 Ollama：安装完成后，我需要告诉 Ollama 位置在哪里。这一步可以通过 ollama config 设置：

1
2


ollama config set-model-path models/deepseek
ollama config set-inference-batch-size 1

这样一来，Ollama 就知道我的模型在哪里了。

搭配 DeepSeek：模型配置

现在，我需要让 DeepSeek 和 Ollama 配对，这样才能协作。这一步有点挑战

设置 DeepSeek 配置文件：DeepSeek 的配置文件位于 models/deepseek/params.json 或 .toml 或 .yaml。我需要确保这个文件的路径正确。如果路径不对，DeepSeek 和 Ollama 就无法通信了。启动 DeepSeek：运行 DeepSeek 后，我需要告诉它 Ollama 的服务端口。通常，Ollama 服务监听在 1234 端口。所以，我添加了以下配置：

1
2
3
4
5


[model]
name = deepseek
basedir = models/deepseek
endpoint = ollama:1234
inference-batch-size = 1

测试阶段：验证部署

终于到了测试环节，我需要确保部署成功。步骤如下：

运行 Ollama 服务：启动 Ollama 服务，确保它可以正常工作。打开终端：

1

python -m ollama ollama-stable/ollama

如果服务启动成功，Ollama 会输出一条欢快的的信息。

访问 DeepSeek 端点：打开浏览器，进入 http://localhost:8080 。这是我配置的 Default 服务端口。
发送预测请求：输入一些简单的文本，比如“Hello, world!”，然后按回车。Ollama 应该会将请求转发给 DeepSeek，然后返回预测结果。

成功时刻：部署完成

当我看到 DeepSeek 和 Ollama 顺利通信时，内心充满了喜悦。虽然整个过程有点曲折，但最终的结果让我感到成就感满满。

总结

部署 DeepSeek 到本地 Ollama 的过程虽然有点复杂，但通过一步步的尝试，我成功了！这让我更加了解了机器学习模型的部署流程，也让我对 Ollama 这个平台有了更深的了解。

希望这篇文章能帮助到和我一样对部署模型感到困惑的小白。

完

作者：Shanziyi
本文纯属自己撰稿，禁止转载，引用时请标明出处！
© Shanziyi 2025
彩蛋：deepseek也参与到了撰稿中！

总访问量: