一、部署前环境准备

1.1 系统版本与硬件要求

Ubuntu部署deepseek-gemma-千问大模型需选择LTS（长期支持）版本，推荐Ubuntu 22.04 LTS或20.04 LTS，因其稳定性与兼容性更优。硬件方面，CPU需支持AVX2指令集（可通过cat /proc/cpuinfo | grep avx2验证），内存建议不低于16GB（训练场景需32GB+），GPU需NVIDIA显卡且CUDA版本≥11.7（若使用GPU加速）。存储空间需预留至少50GB（模型文件约20GB，日志与临时文件占剩余空间）。

1.2 依赖库安装

基础依赖包括Python 3.8+、pip、git、cmake等。可通过以下命令安装：

sudo apt update
sudo apt install -y python3 python3-pip git cmake build-essential

若使用GPU，需安装NVIDIA驱动与CUDA工具包。推荐通过官方仓库安装：

# 添加NVIDIA PPA并安装驱动
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt install -y nvidia-driver-535  # 根据实际情况选择版本
# 安装CUDA（以11.8为例）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt install -y cuda-11-8

安装后需配置环境变量，在~/.bashrc末尾添加：

export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH

执行source ~/.bashrc生效。

二、模型文件获取与配置

2.1 模型下载

deepseek-gemma-千问大模型可通过官方仓库或模型平台获取。推荐使用git lfs下载大文件：

sudo apt install -y git-lfs
git lfs install
git clone https://github.com/deepseek-ai/deepseek-gemma.git  # 替换为实际仓库地址
cd deepseek-gemma
git lfs pull

或直接下载压缩包，解压至指定目录（如~/models/deepseek-gemma）。

2.2 配置文件调整

模型配置文件（如config.json）需根据硬件调整参数。关键参数包括：

• batch_size：根据显存大小调整，GPU场景建议8-32，CPU场景建议1-4。
• precision：GPU支持fp16或bf16以加速推理，CPU需设置为fp32。
• max_seq_length：控制输入文本长度，默认2048，可根据任务需求调整。
  示例配置片段：

  {
  "model_path": "./deepseek-gemma-7b",
  "device": "cuda:0",  # 或"cpu"
  "precision": "bf16",
  "batch_size": 16,
  "max_seq_length": 2048
  }

三、推理服务部署

3.1 使用FastAPI构建API服务

通过FastAPI可快速将模型封装为RESTful API。安装依赖：

pip install fastapi uvicorn transformers torch

创建app.py文件：

from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
app = FastAPI()
model_path = "./deepseek-gemma-7b"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).to(device)
@app.post("/generate")
async def generate(prompt: str):
    inputs = tokenizer(prompt, return_tensors="pt").to(device)
    outputs = model.generate(**inputs, max_new_tokens=100)
    return {"response": tokenizer.decode(outputs[0], skip_special_tokens=True)}

启动服务：

uvicorn app:app --host 0.0.0.0 --port 8000

访问http://localhost:8000/docs可测试API。

3.2 使用vLLM优化推理性能

vLLM是专为LLM设计的高性能推理引擎，支持PagedAttention与连续批处理。安装：

pip install vllm

启动命令示例：

python -m vllm.entrypoints.openai.api_server \
  --model ./deepseek-gemma-7b \
  --device cuda:0 \
  --dtype bf16 \
  --port 8000

vLLM可显著降低延迟，尤其适合高并发场景。

四、常见问题与解决方案

4.1 CUDA内存不足

错误示例：CUDA out of memory。解决方案：

• 减小batch_size（如从16降至8）。
• 启用梯度检查点（若支持）：model.gradient_checkpointing_enable()。
• 使用torch.cuda.empty_cache()清理缓存。

4.2 模型加载失败

错误示例：OSError: Error no file named pytorch_model.bin。原因：

• 模型路径错误，检查config.json中的model_path。
• 文件权限不足，执行chmod -R 755 ~/models/deepseek-gemma。

4.3 API请求超时

解决方案：

• 调整max_new_tokens参数（如从100降至50）。
• 增加服务器资源（如升级GPU或使用多卡）。
• 启用异步处理（FastAPI的BackgroundTasks）。

五、性能优化建议

5.1 量化与压缩

使用bitsandbytes库进行4/8位量化：

from bitsandbytes.optim import GlobalOptimManager
GlobalOptimManager.get_instance().register_override("llama", "opt_level", "O2")
model = AutoModelForCausalLM.from_pretrained(model_path, load_in_4bit=True).to(device)

量化可减少显存占用达75%，但可能轻微影响精度。

5.2 持续监控

通过nvidia-smi（GPU）或htop（CPU）监控资源使用，结合Prometheus+Grafana构建可视化看板。

六、总结与扩展

Ubuntu部署deepseek-gemma-千问大模型需兼顾硬件选型、依赖管理与性能调优。推荐从CPU版本入门，逐步过渡至GPU加速。未来可探索分布式推理（如使用torch.distributed）或模型蒸馏（如Teacher-Student架构）以进一步提升效率。