Llama-3 / DeepSeek-R1 本地私有化部署实战指南

一、局域网安全与算力零成本：为什么走向私有化部署？

虽然公有云大模型 API 很强，但对于企业核心知识库（如设计图纸、敏感财务表、客户数据）来说，发送到外网是不可触碰的安全底线。此外，大并发业务场景下公有云高昂的 Token 计费，往往会成为项目规模化的财务阻碍。私有化本地部署能够实现 100% 数据合规，且在硬件采购完成后的日常算力成本几乎为零。本指南教你如何在企业局域网服务器中搭建本地 Llama-3 和 DeepSeek-R1 推理平台，并对接本地 Dify 容器应用。

二、第一步：使用 Ollama 跑通本地大模型推理

Ollama 是目前本地运行开源大模型最流畅的运行时引擎，支持 GPU 自动调度与量化加速。

1. 安装 Ollama

在物理服务器（以 Windows 且搭载 RTX 4090/A800 显卡为例）上下载并运行 Ollama 官方安装程序。在 Linux 下可使用一键脚本：

curl -fsSL https://ollama.com/install.sh | sh

2. 启动并下载推理模型

打开终端，根据硬件配置拉取模型。若显存为 24GB，推荐拉取 DeepSeek-R1-14B/32B 蒸馏版或 Llama-3-70B-Quantized：

# 拉取并运行 DeepSeek-R1 8B 量化模型进行初步开发测试
ollama run deepseek-r1:8b

测试输入“你好”，确认本地终端能够流畅吐字，且通过任务管理器看到英伟达 GPU 的显存被占用了约 5.5GB。测试通过后，保持后台 Ollama 守护进程正常运行（默认监听本地端口 11434）。

三、第二步：使用 Docker Compose 部署本地 Dify 平台

Dify 提供了非常完整的可视化工作流和知识库管理页面，非常适合在局域网内部部署。我们通过 Docker 启动其全套微服务：

1. 克隆代码库并进入目录

git clone https://github.com/langgenius/dify.git
cd dify/docker

2. 配置文件配置

复制模板环境配置文件：

cp .env.example .env

打开 .env 文件，确认数据库存储路径、Redis 密码等基础配置。如果需要在局域网内给其他同事使用，需要确认防火墙允许外网端口访问 Dify 暴露出的 80 端口。

3. 启动容器集群

docker compose up -d

系统会自动拉取 Postgres、Redis、Sandbox、API 以及 Web 前端容器。片刻后，浏览器访问本机 http://localhost，设置初始管理员账号密码，登录进入 Dify 后台。

四、第三步：打通 Dify 容器到宿主机 Ollama 服务的内网网络

这是本地私有化部署中最容易踩坑的地方！由于 Dify 运行在 Docker 容器桥接网络中，如果你在 Dify 后台配置模型时，把 Ollama 端口写成 http://localhost:11434，Dify 容器会尝试在“容器内部”找 Ollama，结果必然报 Connection Refused 错误。

正确的跨网络访问配置如下：

• Windows/macOS 环境： 在 Dify 的设置-模型供应商-Ollama 的 API Address 中，填写：http://host.docker.internal:11434。Docker 虚拟机会将该域名映射回宿主机的物理环回网络。
• Linux 环境： 填写宿主机在 docker0 网桥上的 IP（通常为 http://172.17.0.1:11434），并在宿主机编辑 Ollama 环境变量，修改 OLLAMA_HOST=0.0.0.0 允许监听所有端口，重新启动 ollama 服务。

连接成功后，在 Dify 平台上传一份企业内部产品政策 PDF，创建向量化数据清洗知识库。此时，智能体便能在不借助任何公网大模型、完全物理断网的环境下，仅依赖本地显卡，为全公司提供高智商、100% 数据合规的企业知识库客服服务！

// 典型实现逻辑 / Code outline
// 如需获取该场景下完整可运行的代码库与技术顾问指导，请联系我们
console.log("Loading module: $本地部署...");
console.log("Configuring agent pipeline: $Llama-3 / DeepSeek-R1 本地私有化部署实战指南...");
console.log("Dependencies active. Pipeline initializing...");
// TODO: Custom code hooks for wolaizuo solutions.

* 本文为“我来做”动手开发实战教程。如果您不想亲自编写代码，或者需要更深入的企业系统（ERP/CRM）对接与私有化部署，欢迎点击下方按钮预约我们的免费诊断服务。