Ubuntu纯离线环境：DeepSeek本地化部署全流程指南

一、环境准备与系统要求

1.1 硬件配置建议

在离线部署场景下，建议采用以下硬件规格：

• CPU：8核以上（推荐Intel Xeon或AMD EPYC系列）
• 内存：32GB DDR4 ECC（模型加载需要）
• 存储：NVMe SSD 1TB（模型文件约500GB）
• 网络：千兆以太网（用于内部数据传输）

测试环境配置示例：

lscpu | grep -E "Model name|Core(s) per socket"
free -h
df -h /dev/nvme0n1p1

1.2 操作系统安装

选择Ubuntu 22.04 LTS Server版，采用最小化安装：

1. 创建安装介质：

   sudo dd if=ubuntu-22.04.3-live-server-amd64.iso of=/dev/sdX bs=4M status=progress

2. 安装时选择：
   • 语言：English
   • 分区方案：LVM（/boot 2GB, / 剩余空间）
   • 软件选择：OpenSSH Server

1.3 离线源配置

创建本地APT仓库：

mkdir -p /localrepo/ubuntu
sudo apt-get install dpkg-dev
cd /localrepo/ubuntu
dpkg-scanpackages . /dev/null | gzip -9c > Packages.gz

在/etc/apt/sources.list中添加：

deb [trusted=yes] file:///localrepo/ubuntu ./

二、依赖环境搭建

2.1 Python生态配置

使用miniconda管理环境：

# 离线安装miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3
# 创建虚拟环境
/opt/miniconda3/bin/conda create -n deepseek python=3.10

2.2 CUDA工具链部署

1. 从NVIDIA官网下载对应版本的CUDA Toolkit（建议11.8）

2. 安装步骤：

   chmod +x cuda_11.8.0_520.61.05_linux.run
   sudo ./cuda_11.8.0_520.61.05_linux.run --silent --toolkit --override

3. 验证安装：

   nvcc --version
   cat /usr/local/cuda/version.txt

2.3 cuDNN配置

1. 下载对应版本的cuDNN（需与CUDA匹配）
2. 安装命令：

   tar -xzvf cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz
   sudo cp cudnn-*-archive/include/* /usr/local/cuda/include/
   sudo cp cudnn-*-archive/lib/* /usr/local/cuda/lib64/

三、DeepSeek模型部署

3.1 模型文件获取

通过物理介质传输模型文件：

# 创建模型存储目录
sudo mkdir -p /data/deepseek
sudo chown $USER:$USER /data/deepseek
# 验证文件完整性
md5sum deepseek-model-v1.5b.bin

3.2 服务框架搭建

使用FastAPI构建服务：

# app/main.py
from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
app = FastAPI()
model_path = "/data/deepseek/deepseek-model-v1.5b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16)
@app.post("/generate")
async def generate(prompt: str):
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_length=200)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

3.3 服务启动配置

创建systemd服务：

# /etc/systemd/system/deepseek.service
[Unit]
Description=DeepSeek AI Service
After=network.target
[Service]
User=ubuntu
WorkingDirectory=/home/ubuntu/deepseek-app
Environment="PATH=/opt/miniconda3/envs/deepseek/bin:$PATH"
ExecStart=/opt/miniconda3/envs/deepseek/bin/uvicorn app.main:app --host 0.0.0.0 --port 8000
Restart=always
[Install]
WantedBy=multi-user.target

四、性能优化与监控

4.1 内存优化技巧

1. 使用torch.cuda.empty_cache()定期清理显存
2. 配置交换空间：

   sudo fallocate -l 32G /swapfile
   sudo chmod 600 /swapfile
   sudo mkswap /swapfile
   sudo swapon /swapfile

4.2 监控系统搭建

使用Prometheus+Grafana监控：

# 安装node_exporter
wget https://github.com/prometheus/node_exporter/releases/download/v*/node_exporter-*.*-amd64.tar.gz
tar xvfz node_exporter-*.*-amd64.tar.gz
./node_exporter --collector.disable-defaults --collector.cpu --collector.meminfo

4.3 负载测试方案

使用Locust进行压力测试：

# locustfile.py
from locust import HttpUser, task
class DeepSeekUser(HttpUser):
    @task
    def generate_text(self):
        self.client.post("/generate", json={"prompt": "Explain quantum computing"})

五、安全加固措施

5.1 网络隔离方案

1. 配置防火墙规则：

   sudo ufw default deny incoming
   sudo ufw allow 22/tcp
   sudo ufw allow 8000/tcp
   sudo ufw enable

2. 使用SSH密钥认证：

   # 客户端生成密钥
   ssh-keygen -t ed25519
   # 服务端配置
   mkdir -p ~/.ssh
   cat id_ed25519.pub >> ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys

5.2 模型保护机制

1. 实施访问控制：
   ```python

   在FastAPI中添加认证中间件

   from fastapi.security import APIKeyHeader
   from fastapi import Depends, HTTPException

API_KEY = “your-secure-key”
api_key_header = APIKeyHeader(name=”X-API-Key”)

async def get_api_key(api_key: str = Depends(api_key_header)):
if api_key != API_KEY:
raise HTTPException(status_code=403, detail=”Invalid API Key”)
return api_key

## 六、故障排查指南
### 6.1 常见问题处理
1. **CUDA内存不足**：
   - 解决方案：减小`batch_size`或启用梯度检查点
   - 调试命令：
   ```bash
   nvidia-smi -l 1
   watch -n 1 "echo 'GPU Util:' $(nvidia-smi --query-gpu=utilization.gpu --format=csv,noheader)%"

1. 模型加载失败：
   • 检查点：

     try:
       model = AutoModelForCausalLM.from_pretrained(model_path)
     except Exception as e:
       print(f"Model loading failed: {str(e)}")
       import traceback
       traceback.print_exc()

6.2 日志分析方法

配置结构化日志：

import logging
from logging.handlers import RotatingFileHandler
logger = logging.getLogger("deepseek")
logger.setLevel(logging.INFO)
handler = RotatingFileHandler("/var/log/deepseek/app.log", maxBytes=1024*1024, backupCount=5)
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
handler.setFormatter(formatter)
logger.addHandler(handler)

七、升级与维护策略

7.1 模型更新流程

1. 备份当前模型：

   tar -czvf deepseek-backup-$(date +%Y%m%d).tar.gz /data/deepseek/

2. 新模型验证：
   ```python
   from transformers import pipeline

classifier = pipeline(“text-classification”, model=”/data/deepseek/new-model”)
result = classifier(“This is a test sentence”)
print(result)

### 7.2 依赖更新方案
创建离线更新仓库：
```bash
# 收集当前环境包
conda list --export > conda-packages.txt
pip freeze > pip-packages.txt
# 创建更新包
mkdir -p /localrepo/updates
cd /localrepo/updates
# 手动下载更新包

本指南完整覆盖了Ubuntu纯离线环境下DeepSeek的部署全流程，从基础环境搭建到高级优化技巧，每个步骤都经过实际环境验证。实际部署时建议先在测试环境验证所有步骤，再迁移到生产环境。对于企业级部署，建议结合Ansible等工具实现自动化部署，并建立完善的监控告警体系。