港科大PHNet：MLP与CNN融合的医学图像分割新范式

2023年，香港科技大学计算机科学与工程系团队在医学图像分割领域提出创新架构PHNet（Pyramid Hybrid Network），通过将多层感知机（MLP）与卷积神经网络（CNN）深度融合，在公开数据集上实现了较传统U-Net架构最高12.3%的Dice系数提升。这项研究不仅为医学影像分析提供了新思路，更揭示了混合架构在处理复杂空间关系时的独特优势。

一、医学图像分割的技术演进与现存挑战

传统医学图像分割方法主要依赖手工特征提取与分类器组合，如基于水平集的主动轮廓模型。2015年U-Net的出现标志着深度学习时代的到来，其编码器-解码器对称结构配合跳跃连接，在2D医学图像分割中取得突破性进展。但面对3D高分辨率影像（如CT、MRI）时，传统CNN架构面临两大核心挑战：

1. 局部感受野限制：3×3卷积核难以捕捉跨尺度解剖结构关联，导致器官边界分割模糊
2. 计算冗余问题：深层网络中重复的卷积操作造成参数膨胀，在边缘设备部署时效率低下

港科大团队通过实证研究发现，在脑肿瘤MRI分割任务中，单纯增加CNN深度至50层以上时，模型性能反而出现0.8%的Dice系数下降，印证了局部特征提取的局限性。

二、PHNet创新架构解析：MLP与CNN的协同设计

PHNet的核心创新在于构建金字塔式混合架构，通过三个关键模块实现特征表达能力的质变：

1. 混合特征编码器（Hybrid Feature Encoder）

采用四阶段下采样结构，每个阶段包含：

• CNN分支：使用深度可分离卷积（Depthwise Separable Convolution）提取局部纹理特征
• MLP分支：通过1×1卷积后的通道混洗（Channel Shuffle）操作，实现跨通道全局信息交互

# 伪代码示例：混合特征编码模块
class HybridBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()
        self.cnn_branch = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, 3, padding=1),
            nn.BatchNorm2d(out_channels),
            nn.ReLU()
        )
        self.mlp_branch = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, 1),
            nn.BatchNorm2d(out_channels),
            ChannelShuffle(groups=4),  # 自定义通道混洗层
            nn.ReLU()
        )
    def forward(self, x):
        cnn_feat = self.cnn_branch(x)
        mlp_feat = self.mlp_branch(x)
        return torch.cat([cnn_feat, mlp_feat], dim=1)

实验表明，该设计使特征图包含的解剖结构信息量提升37%（通过互信息测量），同时参数量较纯CNN架构减少22%。

2. 金字塔注意力模块（Pyramid Attention Module）

借鉴FPN的多尺度思想，构建三级特征金字塔：

• 低级特征：通过3×3卷积提取边缘信息
• 中级特征：采用5×5空洞卷积捕捉器官形态
• 高级特征：使用MLP实现全局语义建模

通过动态权重分配机制，使模型在肝脏分割任务中对小病灶的检测灵敏度提升19%。

3. 渐进式上采样解码器（Progressive Upsampling Decoder）

采用转置卷积与亚像素卷积（Sub-pixel Convolution）的混合策略，在保持分辨率恢复精度的同时，将计算量降低至传统方法的63%。特别设计的特征融合单元通过可学习门控机制，动态调整跳跃连接的权重分配。

三、实证研究与性能突破

在ACDC 2017心脏分割挑战赛数据集上，PHNet-Base版本（参数量8.2M）达到：

• 左心室分割Dice：94.7% ± 1.2%
• 心肌分割Dice：89.3% ± 2.1%
• 推理速度：32帧/秒（NVIDIA V100）

较主流方法对比显示：
| 方法 | 参数量 | Dice(LV) | 推理速度 |
|———————|————|—————|—————|
| U-Net | 7.8M | 92.1% | 28fps |
| TransUNet | 23.5M | 93.4% | 14fps |
| PHNet-Base | 8.2M | 94.7% | 32fps |

四、技术落地启示与开发建议

对于医疗AI开发者，PHNet架构提供以下实践价值：

1. 轻量化部署方案：通过MLP分支替代部分卷积层，可将移动端模型体积压缩至3.2MB，适合基层医院设备
2. 多模态扩展路径：架构天然支持将CT的纹理特征与MRI的软组织对比度特征进行融合
3. 小样本学习优化：混合架构对数据增强的鲁棒性提升，在50例标注数据下仍能保持87%的分割精度

建议开发时注意：

• 在通道混洗层后添加谱归一化（Spectral Normalization）稳定训练
• 采用渐进式学习率调度（Cosine Annealing with Warm Restarts）
• 对3D数据实施2.5D切片处理平衡精度与效率

五、未来研究方向展望

PHNet的成功验证了混合架构的潜力，后续研究可探索：

1. 引入神经架构搜索（NAS）自动优化混合比例
2. 结合Transformer构建三维混合注意力机制
3. 开发动态计算图，根据输入图像复杂度自适应调整MLP/CNN参与度

这项研究不仅为医学图像分割提供了新工具，更揭示了神经网络设计中”局部-全局”特征平衡的重要性。随着边缘计算设备的普及，混合架构有望成为下一代医疗影像AI的核心范式。