计算机视觉方向面试题总结（二）：图像分割篇

一、基础概念与核心算法

1. 图像分割任务分类

图像分割的核心目标是将图像划分为具有语义意义的区域，主要分为三类：语义分割（同一类别像素归为同一区域）、实例分割（区分同类中的不同个体）、全景分割（结合语义与实例分割）。面试中常考察对三者差异的理解，例如：

问题：语义分割与实例分割的关键区别是什么？
回答要点：语义分割不区分同类对象（如所有”人”归为一类），而实例分割需区分不同个体（如每个人单独标记）。典型应用场景中，自动驾驶需要语义分割识别道路区域，而医疗影像分析可能依赖实例分割区分多个肿瘤。

2. 经典算法原理

• FCN（全卷积网络）：首次将CNN应用于密集像素预测，通过反卷积层恢复空间分辨率。需理解其创新点（如跳层连接融合高低层特征）与局限性（对小目标分割效果差）。
• U-Net：对称编码器-解码器结构，通过跳跃连接保留细节信息。面试中可能要求手绘结构图并解释其优势（如医学图像分割中边界定位更精准）。
• DeepLab系列：核心贡献包括空洞卷积（扩大感受野不丢失分辨率）、ASPP模块（多尺度特征融合）及CRF后处理（优化边界）。需对比v1-v3的改进点。

3. 损失函数设计

• 交叉熵损失：适用于多分类任务，但存在类别不平衡问题（如背景像素远多于前景）。
• Dice Loss：直接优化IoU指标，对小目标更友好，公式为：
  $$ Dice = \frac{2 \sum y{true} y{pred}}{\sum y{true}^2 + \sum y{pred}^2} $$
  需解释其梯度特性（避免梯度消失）及与交叉熵的互补性。
• Focal Loss：通过调制因子 $\alpha(1-p_t)^\gamma$ 降低易分类样本权重，解决类别不平衡问题。

二、模型优化与工程实践

1. 数据处理技巧

• 数据增强：几何变换（旋转、缩放）、颜色空间扰动、MixUp等。需结合具体场景选择（如医学图像避免过度旋转破坏解剖结构）。
• 标注工具选择：Labelme（通用）、VGG Image Annotator（VIA）、ITK-SNAP（医学专用）。需评估标注效率与精度平衡。
• 类别不平衡处理：除损失函数调整外，可采用加权采样（如PyTorch的WeightedRandomSampler）或过采样/欠采样策略。

2. 模型轻量化

• 知识蒸馏：用大模型（如DeepLabv3+）指导轻量模型（如MobileNetV3-UNet）训练。需设计合理的蒸馏损失（如特征图距离+预测结果联合优化）。
• 量化与剪枝：量化感知训练（QAT）可减少精度损失，结构化剪枝（如通道剪枝）需配合微调恢复性能。
• 实时分割方案：BiSeNet（双流结构）、DFANet（深度特征聚合）等，需对比其速度-精度权衡。

3. 部署优化

• TensorRT加速：将PyTorch模型转换为ONNX格式后，利用TensorRT的层融合、精度校准等优化推理速度。
• 模型压缩工具链：NVIDIA的Triton推理服务器支持多模型并发，需配置动态批处理（Dynamic Batching）提升吞吐量。
• 硬件适配：针对移动端部署，需测试ARM架构下的NEON指令集优化效果。

三、前沿方向与扩展问题

1. 弱监督分割

• CAM（类激活图）：通过全局平均池化定位目标区域，但存在局部激活问题。改进方法包括ERF（有效感受野）分析、对抗训练等。
• Scribble标注：利用少量线条标注训练模型，需设计传播损失（如CRF约束）或自训练策略。

2. 视频分割

• 光流引导：结合FlowNet预测的运动场调整分割结果，需处理遮挡与运动模糊问题。
• 时空记忆网络：如STM（Space-Time Memory）通过记忆编码器存储历史帧特征，需解释其时间复杂度优化策略。

3. 3D分割

• 体素化处理：将3D点云转换为体素网格后应用3D CNN，但存在计算量爆炸问题。改进方法包括稀疏卷积（如MinkowskiNet）。
• 点云分割：PointNet++通过分层特征学习处理无序点云，需理解其局部特征聚合机制。

四、面试策略与建议

1. 算法复现能力：面试官可能要求现场推导U-Net的跳跃连接计算过程，或解释DeepLab中空洞卷积的输出尺寸计算。
2. 项目细节追问：需准备具体案例，如”在医学图像分割中如何解决标注成本高的问题？”可回答半监督学习+主动学习结合方案。
3. 代码实现考察：可能要求用PyTorch实现Dice Loss或编写数据增强管道，需注意张量操作的维度匹配。
4. 系统设计题：如”设计一个实时街景分割系统”，需从数据采集、模型选择、部署架构全链路分析。

总结：图像分割面试既考察对经典算法的理解深度，也注重工程实践能力。建议通过复现论文、参与开源项目（如MMSegmentation）积累经验，同时关注CVPR/ICCV等顶会最新工作（如Transformer在分割中的应用）。面试前可针对目标公司业务准备专项案例（如自动驾驶公司侧重实时性，医疗公司侧重小目标检测）。