引言

语音降噪与语音增强是语音信号处理领域的核心任务，广泛应用于通信、语音识别、助听器设计及多媒体处理等场景。其核心目标是通过算法抑制背景噪声、提升语音清晰度，同时保留语音的原始特征。随着深度学习技术的突破，传统算法与深度学习模型的融合成为研究热点。本文将从算法原理、实现步骤、代码示例及适用场景四个维度，系统梳理语音降噪与语音增强的主流技术。

一、传统语音降噪算法

1. 谱减法（Spectral Subtraction）

谱减法是最经典的语音增强算法之一，其核心思想是通过估计噪声的频谱特性，从含噪语音的频谱中减去噪声分量。

算法原理

1. 噪声估计：在无语音段（如静音期）计算噪声的功率谱。
2. 频谱减法：从含噪语音的频谱中减去噪声功率谱，得到增强后的频谱。
3. 频谱重建：通过逆傅里叶变换恢复时域信号。

数学表达

设含噪语音的频谱为 ( Y(k) )，噪声频谱为 ( D(k) )，则增强后的频谱为：
[ \hat{X}(k) = \max\left(|Y(k)|^2 - \alpha|D(k)|^2, \beta|Y(k)|^2\right)^{1/2} ]
其中，( \alpha ) 为过减因子，( \beta ) 为频谱下限（避免负频谱）。

代码示例（Python）

import numpy as np
import scipy.signal as signal
def spectral_subtraction(noisy_signal, fs, noise_frame_length=0.25, alpha=2.0, beta=0.002):
    # 分帧处理
    frame_length = int(fs * noise_frame_length)
    frames = signal.stft(noisy_signal, fs=fs, nperseg=frame_length)
    # 噪声估计（假设前5帧为噪声）
    noise_spectrum = np.mean(np.abs(frames[:, :5])**2, axis=1)
    # 谱减法
    enhanced_frames = []
    for i in range(frames.shape[1]):
        noisy_spectrum = np.abs(frames[:, i])**2
        enhanced_spectrum = np.maximum(noisy_spectrum - alpha * noise_spectrum, beta * noisy_spectrum)
        enhanced_phase = np.angle(frames[:, i])
        enhanced_frame = np.sqrt(enhanced_spectrum) * np.exp(1j * enhanced_phase)
        enhanced_frames.append(enhanced_frame)
    # 逆STFT重建信号
    enhanced_signal = signal.istft(np.hstack(enhanced_frames), fs=fs)
    return enhanced_signal

适用场景

• 实时性要求高的场景（如移动端通话）。
• 噪声类型稳定（如风扇噪声）。

局限性

• 音乐噪声（Musical Noise）：频谱减法可能导致频谱空洞，产生类似音乐的噪声。
• 非平稳噪声适应性差。

2. 维纳滤波（Wiener Filter）

维纳滤波是一种基于最小均方误差（MMSE）的线性滤波方法，通过统计特性优化滤波器系数。

算法原理

1. 先验信噪比估计：计算含噪语音与噪声的功率比。
2. 滤波器设计：根据维纳-霍夫方程设计滤波器：
   [ W(k) = \frac{|X(k)|^2}{|X(k)|^2 + |D(k)|^2} ]
   其中 ( |X(k)|^2 ) 为语音功率谱，( |D(k)|^2 ) 为噪声功率谱。

代码示例（MATLAB）

function enhanced_signal = wiener_filter(noisy_signal, fs, noise_psd)
    % 计算含噪语音的功率谱
    [Pxx, ~] = pwelch(noisy_signal, [], [], [], fs);
    % 维纳滤波器系数
    W = Pxx ./ (Pxx + noise_psd);
    % 频域滤波（简化示例，实际需分帧处理）
    N = length(noisy_signal);
    X = fft(noisy_signal);
    X_enhanced = X .* repmat(W, 1, ceil(N/length(W)));
    X_enhanced = X_enhanced(1:N);
    % 逆FFT重建信号
    enhanced_signal = ifft(X_enhanced);
end

适用场景

• 噪声统计特性已知的场景。
• 需要平衡降噪与语音失真的场景。

局限性

• 依赖准确的噪声功率谱估计。
• 对非平稳噪声效果有限。

3. 自适应滤波（LMS/NLMS）

自适应滤波通过动态调整滤波器系数，实现对时变噪声的抑制。

算法原理（以NLMS为例）

1. 初始化：设置滤波器长度 ( L ) 和步长 ( \mu )。
2. 迭代更新：
   [ w(n+1) = w(n) + \mu \frac{e(n)x(n)}{|x(n)|^2 + \delta} ]
   其中 ( e(n) ) 为误差信号，( x(n) ) 为参考噪声，( \delta ) 为正则化项。

代码示例（Python）

def nlms_filter(noisy_signal, reference_noise, filter_length=32, mu=0.1, delta=1e-6):
    N = len(noisy_signal)
    w = np.zeros(filter_length)
    enhanced_signal = np.zeros(N)
    for n in range(filter_length, N):
        x = reference_noise[n-filter_length:n]
        y = np.dot(w, x)
        e = noisy_signal[n] - y
        w += mu * e * x / (np.dot(x, x) + delta)
        enhanced_signal[n] = e
    return enhanced_signal

适用场景

• 回声消除（如视频会议）。
• 噪声与语音不相关的场景。

局限性

• 需要参考噪声信号（如双麦克风系统）。
• 收敛速度受步长 ( \mu ) 影响。

二、深度学习语音增强算法

1. 循环神经网络（RNN/LSTM）

RNN及其变体（如LSTM、GRU）通过时序建模实现语音增强。

算法原理

1. 特征提取：将语音信号转换为频谱图或梅尔频谱。
2. 时序建模：LSTM单元捕捉语音的长期依赖关系。
3. 掩码估计：输出理想比率掩码（IRM）或频谱掩码。

代码示例（PyTorch）

import torch
import torch.nn as nn
class LSTM_Enhancer(nn.Module):
    def __init__(self, input_dim=257, hidden_dim=512, output_dim=257):
        super().__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, batch_first=True, bidirectional=True)
        self.fc = nn.Linear(hidden_dim*2, output_dim)
    def forward(self, x):
        # x: (batch_size, seq_len, freq_bins)
        out, _ = self.lstm(x)
        mask = torch.sigmoid(self.fc(out))
        return mask
# 训练流程示例
model = LSTM_Enhancer()
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
for epoch in range(100):
    noisy_spec = torch.randn(32, 100, 257)  # (batch, seq_len, freq)
    clean_spec = torch.randn(32, 100, 257)
    mask = model(noisy_spec)
    loss = criterion(mask * noisy_spec, clean_spec)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

适用场景

• 非平稳噪声环境（如街道噪声）。
• 实时性要求适中的场景。

局限性

• 训练数据需求量大。
• 模型复杂度高。

2. 卷积神经网络（CNN）

CNN通过局部感受野和权值共享实现高效的频谱特征提取。

算法原理

1. 频谱图输入：将语音转换为时频图（如STFT）。
2. 卷积层：提取局部频谱模式。
3. 反卷积层：重建增强后的频谱。

代码示例（TensorFlow）

import tensorflow as tf
from tensorflow.keras import layers
def build_cnn_enhancer(input_shape=(257, 100, 1)):
    model = tf.keras.Sequential([
        layers.Input(shape=input_shape),
        layers.Conv2D(64, (3, 3), activation='relu', padding='same'),
        layers.MaxPooling2D((2, 2)),
        layers.Conv2D(128, (3, 3), activation='relu', padding='same'),
        layers.UpSampling2D((2, 2)),
        layers.Conv2D(1, (3, 3), activation='sigmoid', padding='same')
    ])
    return model
# 训练流程示例
model = build_cnn_enhancer()
model.compile(optimizer='adam', loss='mse')
noisy_spec = tf.random.normal((32, 257, 100, 1))
clean_spec = tf.random.normal((32, 257, 100, 1))
model.fit(noisy_spec, clean_spec, epochs=50)

适用场景

• 频谱模式明显的噪声（如周期性噪声）。
• 计算资源有限的场景。

局限性

• 时序建模能力弱于RNN。

3. 端到端深度学习（CRN/Conv-TasNet）

端到端模型直接输入原始波形，输出增强后的波形。

算法原理（以Conv-TasNet为例）

1. 编码器：将波形映射为高维特征。
2. 分离模块：通过TCN（时域卷积网络）实现语音与噪声分离。
3. 解码器：将特征重建为波形。

代码示例（伪代码）

class ConvTasNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.encoder = nn.Conv1d(1, 256, kernel_size=16, stride=8)
        self.separator = TCNBlock(256, num_blocks=8)
        self.decoder = nn.ConvTranspose1d(256, 1, kernel_size=16, stride=8)
    def forward(self, x):
        features = self.encoder(x.unsqueeze(1))
        mask = self.separator(features)
        enhanced_features = mask * features
        return self.decoder(enhanced_features).squeeze(1)

适用场景

• 低延迟要求的实时场景。
• 噪声类型复杂的场景。

局限性

• 模型训练难度高。

三、算法选型建议

1. 实时性优先：选择谱减法或NLMS。
2. 音质优先：选择维纳滤波或深度学习模型。
3. 资源受限：选择轻量级CNN或传统算法。
4. 复杂噪声：选择CRN或Conv-TasNet。

四、未来趋势

1. 多模态融合：结合视觉或骨传导信号提升降噪效果。
2. 轻量化模型：通过模型压缩技术部署到嵌入式设备。
3. 自适应学习：在线学习噪声特性，动态调整模型参数。

结论

语音降噪与语音增强的算法选择需综合考虑场景需求、计算资源与音质要求。传统算法（如谱减法、维纳滤波）适合资源受限场景，而深度学习模型（如CRN、Conv-TasNet）在复杂噪声环境下表现更优。未来，算法将向实时性、自适应性与多模态融合方向发展。