树莓派4B部署YOLOv5模型实战指南：结合NCS2加速全流程详解

一、前言：边缘计算场景下的部署挑战

在边缘设备如树莓派4B（Raspberry Pi 4B）上部署YOLOv5目标检测模型时，开发者面临三大核心挑战：

1. 计算资源限制：ARM Cortex-A72 CPU的算力难以满足实时推理需求
2. 模型适配问题：需要将PyTorch模型转换为边缘设备兼容的格式
3. 加速方案选择：Intel神经计算棒2（NCS2）可提供最高4TOPS的INT8算力

本文将分六个阶段详解完整部署流程，实测NCS2加速可使推理速度提升3-5倍。

二、基础环境配置（树莓派端）

2.1 系统准备

推荐使用64位Raspberry Pi OS（Debian Bullseye）：

# 安装基础依赖
sudo apt update && sudo apt install -y \
    python3-pip \
    cmake \
    libopenblas-dev \
    libatlas-base-dev

2.2 OpenVINO Toolkit安装

Intel官方提供的OpenVINO工具包是NCS2加速的核心：

wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2022.3/linux/l_openvino_toolkit_debian9_armhf_2022.3.0.9052.cf2c7c48f9e.tgz
tar -xvzf l_openvino_toolkit*.tgz
cd l_openvino_toolkit*/install_dependencies
sudo -E ./install_openvino_dependencies.sh

三、YOLOv5模型训练与导出

3.1 自定义数据集训练

使用YOLOv5官方仓库进行训练（需在x86训练机执行）：

python train.py --img 640 --batch 16 --epochs 50 \
    --data custom_dataset.yaml \
    --cfg models/yolov5s.yaml \
    --weights yolov5s.pt

3.2 模型格式转换

关键步骤是将PyTorch模型转换为OpenVINO IR格式：

from yolov5.export import export_openvino
export_openvino(weights='runs/train/exp/weights/best.pt', 
               imgsz=(640, 640))

生成XML（网络结构）和BIN（权重）文件

四、NCS2加速部署实战

4.1 模型优化配置

通过OpenVINO的Model Optimizer进行量化：

mo --input_model best.xml \
   --output_dir optimized_model \
   --data_type FP16 \
   --scale 255 \
   --reverse_input_channels

4.2 推理代码实现

核心推理类示例（Python）：

from openvino.runtime import Core
class NCS2Inference:
    def __init__(self, model_path):
        self.core = Core()
        self.model = self.core.compile_model(
            model=model_path, 
            device_name="MYRIAD"  # 指定NCS2设备
        )
        self.input_node = self.model.input(0)
    def infer(self, image):
        # 前处理
        input_tensor = preprocess(image)
        # 推理
        results = self.model([input_tensor])
        # 后处理
        return postprocess(results)

五、性能优化技巧

5.1 输入分辨率调整

对比测试显示不同输入尺寸的时延（树莓派4B + NCS2）：
| 分辨率 | FPS (纯CPU) | FPS (NCS2) |
|————|——————|——————|
| 320×320 | 4.2 | 15.6 |
| 640×640 | 1.8 | 7.3 |

5.2 多线程处理方案

建议采用生产者-消费者模式：

from threading import Thread
import queue
frame_queue = queue.Queue(maxsize=3)
# 图像采集线程
class CaptureThread(Thread):
    def run(self):
        while True:
            frame = camera.read()
            frame_queue.put(frame)
# 推理线程            
class InferenceThread(Thread):
    def run(self):
        while True:
            frame = frame_queue.get()
            results = model.infer(frame)

六、常见问题解决方案

1. NCS2设备未识别：

   # 检查USB权限
   lsusb | grep "Movidius"
   sudo usermod -a -G users "$(whoami)"

2. 内存不足错误：

   • 增加交换空间：

     sudo dphys-swapfile swapoff
     sudo nano /etc/dphys-swapfile # 修改CONF_SWAPSIZE=2048
     sudo dphys-swapfile setup
     sudo dphys-swapfile swapon

3. 模型精度下降：

   • 尝试FP32格式而非FP16
   • 在训练时增加—hyp参数调整数据增强

结语

通过本文的完整流程，开发者可在树莓派4B上实现：

• 自定义YOLOv5模型的端到端部署
• 利用NCS2获得5-7FPS的实时推理性能
• 掌握边缘计算场景下的优化方法论

实际部署时建议根据具体场景调整模型复杂度与精度的平衡，后续可探索TensorRT等其他加速方案对比。