Jetson Nano实战：CSI相机配置与YOLOv物体检测全流程

摘要

Jetson Nano作为NVIDIA推出的边缘计算开发套件，凭借其低功耗、高性能的特点，广泛应用于AIoT领域。本文以Jetson Nano套件为核心，系统讲解CSI相机配置与YOLOv物体检测的完整流程，包括硬件连接、驱动安装、环境配置、模型部署及优化技巧，帮助开发者快速实现边缘端实时物体检测。

一、Jetson Nano与CSI相机基础

1.1 Jetson Nano套件简介

Jetson Nano搭载四核ARM Cortex-A57 CPU、128核Maxwell GPU（256 CUDA核心），支持4K视频解码和HD编码，是边缘AI开发的理想平台。其40针扩展接口支持CSI摄像头、I2C传感器等外设，适合计算机视觉任务。

1.2 CSI相机优势

CSI（Camera Serial Interface）是Jetson Nano原生支持的摄像头接口，相比USB摄像头：

• 低延迟：通过专用硬件接口传输，减少数据拷贝开销。
• 高带宽：支持4K@30fps或1080p@60fps视频流。
• 低功耗：无需USB控制器，适合嵌入式场景。

二、CSI相机配置详解

2.1 硬件连接

1. 物理连接：将CSI摄像头（如Raspberry Pi Camera V2）的排线插入Jetson Nano的CSI接口（标有CAM0或CAM1）。
2. 电源检查：确保摄像头供电正常（部分摄像头需5V额外供电）。

2.2 驱动与依赖安装

1. 更新系统：

   sudo apt-get update && sudo apt-get upgrade -y

2. 安装GStreamer插件（用于视频流处理）：

   sudo apt-get install gstreamer1.0-plugins-bad gstreamer1.0-plugins-good -y

3. 验证摄像头：

   sudo apt-get install v4l-utils -y
   v4l2-ctl --list-devices

   输出应包含/dev/video0或/dev/video1，表示摄像头被识别。

2.3 测试摄像头

使用GStreamer播放摄像头画面：

gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM),width=1280,height=720,framerate=30/1' ! nvvidconv ! autovideosink

• 参数说明：
  • nvarguscamerasrc：NVIDIA原生CSI驱动源。
  • width/height/framerate：调整分辨率和帧率。
  • nvvidconv：NVIDIA视频转换插件。
  • autovideosink：自动选择显示输出。

三、YOLOv物体检测部署

3.1 环境准备

1. 安装PyTorch与TorchVision：

   wget https://nvidia.box.com/shared/static/p57jwntq486kh2dx98c2p8h2rj9zlg9r.whl -O torch-1.8.0-cp36-cp36m-linux_aarch64.whl
   sudo apt-get install python3-pip libopenblas-base libopenmpi-dev -y
   pip3 install torch-1.8.0-cp36-cp36m-linux_aarch64.whl
   pip3 install torchvision

2. 安装OpenCV：

   sudo apt-get install python3-opencv -y

3.2 YOLOv模型准备

1. 下载预训练权重：

   wget https://pjreddie.com/media/files/yolov3.weights
   wget https://pjreddie.com/media/files/yolov3-tiny.weights

2. 转换权重为PyTorch格式（可选）：
   使用torch.load直接加载.weights文件需自定义解析代码，或通过工具转换。

3.3 代码实现

3.3.1 加载模型

import torch
import torchvision.transforms as transforms
from PIL import Image
import cv2
import numpy as np
class YOLOv3:
    def __init__(self, weights_path, cfg_path, class_names):
        self.model = self._load_model(weights_path, cfg_path)
        self.classes = class_names
        self.transform = transforms.Compose([
            transforms.ToTensor(),
        ])
    def _load_model(self, weights_path, cfg_path):
        # 实际需实现Darknet模型加载逻辑
        # 此处简化，建议使用torch.hub或自定义Darknet类
        model = torch.hub.load('ultralytics/yolov5', 'yolov5s')  # 替代方案：使用YOLOv5
        model.load_state_dict(torch.load(weights_path))
        model.eval()
        return model
    def detect(self, image):
        inputs = self.transform(image).unsqueeze(0)
        with torch.no_grad():
            outputs = self.model(inputs)
        # 解析outputs获取边界框、类别和置信度
        # 实际需实现NMS（非极大值抑制）
        return boxes, labels, scores

3.3.2 实时检测流程

def main():
    # 初始化YOLOv3
    yolo = YOLOv3(
        weights_path='yolov3.weights',
        cfg_path='yolov3.cfg',
        class_names=['person', 'car', 'dog']  # 替换为实际类别
    )
    # 启动摄像头
    cap = cv2.VideoCapture('nvarguscamerasrc ! video/x-raw(memory:NVMM),width=640,height=480 ! appsink')
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        # 转换为PIL图像并检测
        pil_img = Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
        boxes, labels, scores = yolo.detect(pil_img)
        # 绘制边界框
        for box, label, score in zip(boxes, labels, scores):
            x1, y1, x2, y2 = map(int, box)
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
            cv2.putText(frame, f'{label}: {score:.2f}', (x1, y1-10), 
                        cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
        cv2.imshow('YOLOv3 Detection', frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()
if __name__ == '__main__':
    main()

3.4 性能优化

1. 模型量化：使用TensorRT加速推理：

   pip3 install tensorrt
   # 转换PyTorch模型为TensorRT引擎（需自定义脚本）

2. 分辨率调整：降低输入分辨率（如320x320）以提升帧率。
3. 多线程处理：使用threading分离摄像头读取和检测线程。

四、常见问题与解决

4.1 摄像头无法识别

• 检查连接：重新插拔CSI排线。
• 权限问题：确保用户有/dev/video*访问权限。
• 驱动冲突：卸载冲突的USB摄像头驱动。

4.2 检测速度慢

• 模型选择：使用YOLOv3-tiny或YOLOv5s等轻量级模型。
• 硬件加速：启用TensorRT或CUDA加速。
• 批处理：若支持，可一次处理多帧。

五、总结与扩展

本文通过Jetson Nano套件实现了CSI相机配置与YOLOv物体检测的全流程，开发者可基于此扩展以下功能：

• 多摄像头同步检测：通过GStreamer多路输入实现。
• 网络传输：将检测结果通过MQTT或WebSocket发送至云端。
• 自定义训练：使用YOLOv5官方代码训练自定义数据集。

Jetson Nano的低功耗与高性能使其成为边缘AI的理想平台，结合CSI相机与YOLOv模型，可快速构建智能监控、机器人视觉等应用。