旷视科技|商用端侧Raw图像降噪方案：技术解析与行业应用

一、技术背景与行业痛点

在移动摄影与安防监控领域，Raw图像因其保留了传感器原始数据而成为高质量成像的基础。然而，Raw图像的噪声问题（如热噪声、读出噪声、光子散粒噪声）严重制约了图像质量，尤其在低光照环境下更为突出。传统降噪方案多基于YUV或RGB域处理，存在信息损失和细节模糊的缺陷。端侧Raw降噪的挑战在于：需在资源受限的移动设备上实现高效处理，同时保持低功耗与实时性。

旷视科技推出的商用端侧Raw图像降噪方案，通过创新算法设计与工程优化，直接在Raw域进行噪声抑制，最大限度保留图像细节，为行业提供了端到端的高效解决方案。

二、技术原理与核心优势

1. Raw域降噪的数学基础

Raw图像降噪的核心是建立噪声模型并设计逆滤波器。旷视方案采用混合噪声模型，结合高斯噪声（模拟读出噪声）与泊松噪声（模拟光子散粒噪声），通过最大后验概率（MAP）框架优化降噪参数：

# 简化版噪声模型参数估计（示例）
def estimate_noise_params(raw_patch):
    # 计算局部方差（高斯噪声）
    gaussian_var = np.var(raw_patch)
    # 计算光子计数（泊松噪声）
    photon_count = np.mean(raw_patch)
    return gaussian_var, photon_count

该模型通过分块统计Raw数据的局部特性，动态调整噪声参数，避免全局假设的偏差。

2. 轻量化网络架构

旷视设计了分层特征提取网络（HFENet），其结构如下：

• 浅层特征提取：使用1×1卷积压缩通道数，减少计算量；
• 深层特征融合：通过残差连接与空洞卷积扩大感受野，捕捉多尺度噪声模式；
• 动态权重分配：引入注意力机制，自适应调整不同区域的降噪强度。

实验表明，HFENet在MIPI数据集上的PSNR达到32.1dB，较传统方法提升1.8dB，且模型参数量仅0.8M，适合端侧部署。

3. 工程优化策略

• 量化感知训练：通过模拟INT8量化过程，减少模型部署时的精度损失；
• 内存复用技术：重用中间特征图，降低峰值内存占用（从12MB降至7MB）；
• 多线程调度：将降噪任务拆分为独立子模块，并行执行以提升帧率。

三、行业应用场景

1. 智能手机摄影

在夜景模式下，Raw降噪可显著提升暗部细节与色彩还原。例如，某旗舰机型集成旷视方案后，用户实测显示：

• 噪点减少40%，动态范围扩展1.5档；
• 处理延迟从80ms降至35ms，满足实时预览需求。

2. 安防监控

低光照摄像头常因噪声导致目标识别率下降。旷视方案通过Raw域降噪，使车牌识别准确率从78%提升至92%，同时降低误报率。

3. 工业检测

在半导体晶圆检测中，Raw降噪可抑制传感器热噪声，提升缺陷检测的信噪比（SNR），减少漏检率。

四、部署策略与最佳实践

1. 硬件适配建议

• SoC选择：优先支持NEON指令集的ARM处理器（如高通骁龙8系列）；
• 内存配置：建议预留10MB以上连续内存，避免碎片化；
• 传感器校准：需提供黑电平（Black Level）与增益系数（Gain）参数，以优化噪声模型。

2. 性能调优技巧

• 动态分辨率调整：根据场景复杂度切换全分辨率（12MP）与四分之一分辨率（3MP）模式；
• 多帧融合策略：结合短曝光Raw帧与长曝光帧，平衡运动模糊与噪声；
• 功耗控制：通过DVFS（动态电压频率调整）技术，在空闲时降低CPU频率。

3. 测试与验证方法

• 主观评价：采用双刺激连续质量评分法（DSCQS），对比降噪前后图像的自然度；
• 客观指标：监控PSNR、SSIM与噪声功率谱密度（NPSD）；
• 压力测试：在-10℃至50℃温度范围内验证模型稳定性。

五、未来展望

旷视科技正探索将AI大模型与Raw降噪结合，通过自监督学习进一步减少对标注数据的依赖。同时，针对车载摄像头等高动态场景，研发抗运动模糊的Raw域降噪算法，有望推动端侧图像处理迈向新高度。

结语：旷视科技的商用端侧Raw图像降噪方案，通过算法创新与工程优化的双重突破，为移动设备提供了高效、低功耗的图像质量提升路径。随着5G与AIoT的普及，该方案将在更多垂直领域释放价值，助力行业实现“所见即所得”的成像愿景。