CVPR'23｜CLIP赋能跨模态：零样本图像分割新突破

一、背景与挑战：零样本分割的跨模态困局

在计算机视觉领域，参考图像分割（Referring Image Segmentation）旨在根据自然语言描述或参考图像定位并分割目标区域。传统方法依赖大量标注数据训练，但在零样本场景下（即测试时遇到未见过的类别或描述），模型性能急剧下降。跨模态预训练（Cross-Modal Pre-training）通过联合学习视觉与语言特征，成为突破这一瓶颈的关键。然而，现有方法存在两大问题：

1. 模态鸿沟：视觉与语言特征空间差异大，直接对齐易导致信息丢失；
2. 标注依赖：预训练阶段仍需大量配对数据（如图像-文本对），限制了模型在低资源场景的应用。

CLIP（Contrastive Language-Image Pre-training）通过对比学习将图像与文本映射到共享特征空间，在零样本分类任务中表现优异。但其设计初衷并非针对密集预测任务（如分割），如何将其跨模态对齐能力迁移至参考图像分割，成为本文的核心研究问题。

二、方法创新：CLIP预训练的跨模态迁移

本文提出一种基于CLIP的零样本参考图像分割框架，其核心思想是利用CLIP的预训练权重初始化视觉-语言编码器，并通过轻量级适配器实现模态特征的无缝融合。具体分为三步：

1. 跨模态编码器设计

• 视觉编码器：采用CLIP的ViT（Vision Transformer）作为主干网络，提取图像的全局特征；
• 语言编码器：复用CLIP的文本Transformer，将参考描述编码为语义向量；
• 适配器模块：在视觉特征与语言特征之间插入可学习的投影层，通过点积注意力机制动态调整特征权重。

相较于从头训练的跨模态模型，该方法直接继承CLIP的预训练知识，显著减少了对标注数据的依赖。实验表明，仅需1%的标注数据即可达到SOTA（State-of-the-Art）性能的85%。

2. 零样本分割的对比学习策略

为增强模型对未见类别的泛化能力，本文引入跨模态对比损失：

• 正样本对：图像区域特征与匹配的文本描述特征；
• 负样本对：图像区域特征与不匹配的文本描述特征。

通过最大化正样本对的相似度、最小化负样本对的相似度，模型学习到更具判别性的跨模态表示。此外，针对分割任务的特殊性，设计掩码感知的对比损失，仅对目标区域计算损失，避免背景噪声干扰。

3. 轻量级解码器设计

传统分割模型（如U-Net）参数量大，难以与预训练编码器联合优化。本文提出动态卷积解码器，其参数由语言特征动态生成：

# 伪代码示例：动态卷积核生成
def generate_dynamic_kernel(language_feature):
    # 通过MLP将语言特征映射为卷积核参数
    kernel_weights = MLP(language_feature)  # shape: [out_channels, in_channels, k, k]
    return kernel_weights

解码时，根据输入的语言描述实时生成卷积核，实现“一句话定制分割器”。这种设计使模型参数量减少70%，同时支持任意长度的文本输入。

三、实验验证：超越SOTA的零样本性能

在RefCOCO、RefCOCO+、G-Ref等标准数据集上，本文方法在零样本设置下取得显著提升：

• RefCOCO数据集：mIoU（平均交并比）达42.3%，较基线模型提升11.7%；
• 跨数据集泛化：在未见过的COCO-Stuff数据集上，mIoU仅下降3.2%，证明预训练跨模态特征的有效性；
• 效率对比：推理速度达25FPS（帧/秒），较双塔结构模型快1.8倍。

四、实际应用与启发

1. 低资源场景下的部署优势

对于医疗影像、工业检测等标注成本高的领域，本文方法可通过少量参考图像实现定制化分割。例如，在医学影像中，医生仅需提供“肺部结节”的文本描述，即可自动分割病灶区域，无需重新训练模型。

2. 动态交互的分割系统

结合语音识别技术，可构建实时交互的分割工具。用户通过语音或文本输入描述（如“分割画面中穿红色衣服的人”），系统立即输出分割结果，适用于视频会议、直播剪辑等场景。

3. 对研究者的启发

• 预训练任务设计：跨模态预训练应兼顾全局对齐（如CLIP）与局部匹配（如本文的掩码对比损失）；
• 模型轻量化：动态参数生成是减少模型冗余的有效手段，可推广至其他多模态任务；
• 零样本评估：建议新增跨数据集零样本测试，更真实反映模型泛化能力。

五、未来方向与挑战

尽管本文方法在零样本分割中表现突出，但仍面临以下挑战：

1. 长尾类别问题：对于罕见物体（如“古董望远镜”），语言描述的多样性不足可能导致特征对齐失败；
2. 多模态输入扩展：如何融合语音、手势等更多模态的参考信息，进一步提升交互自然度；
3. 实时性优化：动态卷积解码器在移动端的部署需进一步优化计算效率。

结语

本文通过向CLIP学习预训练跨模态特征，提出了一种简单高效的零样本参考图像分割方法，为解决标注依赖与模态鸿沟问题提供了新思路。其核心价值在于将通用的跨模态对齐能力转化为具体的密集预测能力，为计算机视觉的零样本学习开辟了新方向。随着多模态大模型的演进，此类方法有望在机器人感知、自动驾驶等领域发挥更大作用。