一、CelebA-HQ：人脸修复领域的标杆数据集

1.1 数据规模与质量优势

CelebA-HQ作为CelebA数据集的高清升级版，包含30,000张分辨率达1024×1024的人脸图像，其优势体现在三方面：

• 分辨率突破：较原始CelebA的256×256提升16倍，满足超分辨率修复需求
• 属性标注丰富：提供40种面部属性标签（如年龄、表情、发色），支持条件式图像修复
• 掩码模板库：内置5种标准掩码模式（中心遮挡、随机块遮挡等），加速算法验证

1.2 典型应用场景

在人脸修复任务中，该数据集常用于：

# 示例：使用PyTorch加载CelebA-HQ数据集
from torchvision.datasets import CelebA
dataset = CelebA(root='./data', split='train', target_type='attr', download=True)
# 自定义掩码生成函数
def generate_mask(img_size, mask_type='center'):
    if mask_type == 'center':
        mask = torch.zeros(img_size, img_size)
        center = (img_size//2, img_size//2)
        radius = img_size//4
        yy, xx = torch.meshgrid(torch.arange(img_size), torch.arange(img_size))
        mask[(xx-center[0])**2 + (yy-center[1])**2 < radius**2] = 1
    return mask

• 面部遮挡修复（如眼镜、疤痕去除）
• 年龄变换修复（年轻化/老化）
• 低光照条件下的面部增强

1.3 学术影响力

据Google Scholar统计，2020-2023年间引用CelebA-HQ的论文达1,200余篇，其中CVPR/ECCV等顶会论文占比超60%，成为评估GAN类修复算法的标准基准。

二、Places2：场景修复的通用测试平台

2.1 数据集构成特点

Places2包含超过180万张涵盖365类场景的图像，其设计理念突出三大特性：

• 场景多样性：包含自然景观（森林、海洋）、人造环境（城市街道、室内）等
• 分辨率梯度：提供256×256至1024×1024多尺度版本
• 掩码库扩展：支持不规则掩码（通过笔画工具生成）和结构化掩码（建筑物轮廓）

2.2 典型修复任务

在场景修复中，该数据集支持：

• 大区域缺失补全：如移除广告牌后的背景恢复
• 季节变换修复：冬季场景→夏季场景转换
• 多模态修复：结合语义分割图进行结构约束修复

2.3 实践建议

建议研究者采用分层评估策略：

1. 基础修复：使用256×256图像+规则掩码
2. 进阶修复：512×512图像+不规则掩码
3. 真实场景：1024×1024图像+用户交互掩码

三、Paris StreetView：结构化修复的专用数据集

3.1 数据集设计理念

针对城市街景修复需求，该数据集具有三大创新：

• 几何一致性标注：提供建筑物边缘、消失点等几何信息
• 多视角匹配：同一场景包含不同角度的5-8张图像
• 掩码生成工具：集成交互式掩码编辑器，支持手动调整

3.2 技术挑战

该数据集暴露了传统修复方法的三大局限：

• 透视变形处理：远近建筑的比例修复
• 重复结构生成：如连续窗户的对称修复
• 光照一致性：不同时间段的阴影修复

3.3 解决方案参考

最新研究采用混合架构应对挑战：

# 示例：结合几何先验的修复网络
class GeometryAwareInpainting(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = ResNetEncoder()
        self.geometry_branch = EdgeDetection()
        self.decoder = UNetDecoder()
    def forward(self, x, mask):
        # 提取几何特征
        edges = self.geometry_branch(x*(1-mask))
        # 多模态融合
        features = torch.cat([self.encoder(x), edges], dim=1)
        return self.decoder(features, mask)

四、DTD：纹理修复的专业数据集

4.1 纹理分类体系

Describable Textures Dataset (DTD)包含5,640张纹理图像，分为47个类别，其优势在于：

• 语义分级：将纹理分为规则型（网格）、随机型（沙地）、结构型（砖墙）
• 多尺度标注：提供从16×16到512×512的纹理块
• 缺陷模拟：内置划痕、污渍等12种常见纹理缺陷

4.2 工业应用价值

在材料表面检测领域，该数据集支持：

• 金属表面划痕修复
• 织物纹理补全
• 皮革裂纹填充

4.3 评估指标建议

推荐采用三维度评估：
| 指标类型 | 计算方法 | 阈值建议 |
|————————|—————————————————-|—————|
| 结构相似性(SSIM) | 与GT图像的均值差异 | >0.85 |
| 纹理一致性 | 灰度共生矩阵(GLCM)对比 | <0.15 |
| 感知质量 | LPIPS距离 | <0.20 |

五、DIV2K：超分辨率修复的基准数据集

5.1 数据集规格

DIV2K (Diverse 2K Resolution)包含1,000张2K分辨率图像，其设计特点包括：

• 内容多样性：涵盖人物、动物、植物、建筑等10大类
• 降质模拟：提供双三次降采样、高斯模糊、JPEG压缩等7种退化模型
• 评估协议：定义了8倍、16倍超分辨率修复的标准测试流程

5.2 技术发展脉络

该数据集推动了三代修复技术的发展：

1. 第一代：基于CNN的浅层修复（SRCNN, 2014）
2. 第二代：基于GAN的对抗修复（ESRGAN, 2018）
3. 第三代：基于Transformer的注意力修复（SwinIR, 2021）

5.3 实践优化技巧

在实际应用中，建议采用渐进式修复策略：

# 示例：多阶段超分辨率修复
def progressive_inpainting(lr_img, scale_factor=4):
    stages = [2, 2] if scale_factor==4 else [2, 2, 2]
    current = lr_img
    for stage in stages:
        current = upsample_stage(current, stage)  # 各阶段采用不同网络
    return current

六、数据集选型决策树

为帮助研究者快速选择合适数据集，构建如下决策流程：

1. 任务类型判断：
   • 人脸修复 → CelebA-HQ
   • 场景修复 → Places2
   • 结构修复 → Paris StreetView
2. 分辨率需求：
   • <512×512 → DTD
   • ≥1024×1024 → DIV2K
3. 评估重点：
   • 结构一致性 → Paris StreetView
   • 纹理真实性 → DTD
   • 感知质量 → CelebA-HQ

七、未来发展方向

当前数据集存在三大局限：

1. 动态场景缺失：现有数据集均为静态图像
2. 跨模态不足：缺乏文本-图像联合修复数据
3. 真实缺陷有限：掩码模式与真实损伤存在差距

建议后续研究关注：

• 构建4D时空修复数据集（如视频序列）
• 开发多模态交互式修复基准（如CLIP引导修复）
• 收集工业级缺陷样本库（如芯片表面损伤）

本文系统梳理的五大数据集已形成完整的评估体系，研究者可根据具体需求进行组合使用。例如在人脸-场景混合修复任务中，可联合使用CelebA-HQ和Places2，通过域适应技术实现跨数据集迁移学习。