NLP教程(3)：神经网络与反向传播深度解析

一、神经网络基础架构解析

神经网络作为NLP的核心技术，其架构设计直接影响模型性能。以文本分类任务为例，输入层接收词向量编码的文本序列，隐藏层通过非线性变换提取语义特征，输出层则生成分类概率分布。

1. 网络层类型

   • 全连接层：实现特征空间的线性变换，公式为 $y = Wx + b$，其中 $W$ 为权重矩阵，$b$ 为偏置向量。
   • 激活函数层：引入非线性能力，如ReLU函数 $f(x)=\max(0,x)$ 可缓解梯度消失问题，Sigmoid函数 $f(x)=\frac{1}{1+e^{-x}}$ 适用于二分类输出。
   • 循环层：RNN通过时序依赖处理序列数据，LSTM单元通过输入门、遗忘门和输出门控制信息流，公式为：
     $$
     \begin{align}
     ft &= \sigma(W_f[h{t-1},xt]+b_f) \
     i_t &= \sigma(W_i[h{t-1},xt]+b_i) \
     \tilde{C}_t &= \tanh(W_C[h{t-1},xt]+b_C) \
     C_t &= f_t \odot C{t-1} + i_t \odot \tilde{C}_t
     \end{align}
     $$

2. 参数规模计算
   以Transformer编码器为例，单层自注意力机制参数包含查询矩阵 $WQ$、键矩阵 $W_K$、值矩阵 $W_V$，若嵌入维度为 $d{model}=512$，头数为 $h=8$，则每个头的参数规模为 $d{model} \times \frac{d{model}}{h} = 512 \times 64$。

二、反向传播算法原理

反向传播通过链式法则计算梯度，实现参数的迭代优化。以交叉熵损失函数为例，其梯度推导过程如下：

1. 前向传播
   计算预测概率 $p_i = \frac{e^{z_i}}{\sum_j e^{z_j}}$，其中 $z_i$ 为第 $i$ 个类别的对数几率。

2. 损失函数定义
   交叉熵损失 $L = -\sum_i y_i \log(p_i)$，其中 $y_i$ 为真实标签的one-hot编码。

3. 梯度计算
   对 $z_k$ 的梯度为：
   $<br>\frac{\partial L}{\partial z_k} = p_k - y_k<br>$
   该结果揭示了预测概率与真实标签的差异，指导权重更新方向。

4. 参数更新示例
   使用PyTorch实现反向传播：

   import torch
   import torch.nn as nn
   import torch.optim as optim
   # 定义简单网络
   class SimpleNN(nn.Module):
       def __init__(self):
           super().__init__()
           self.fc1 = nn.Linear(10, 5)
           self.fc2 = nn.Linear(5, 2)
       def forward(self, x):
           x = torch.relu(self.fc1(x))
           x = self.fc2(x)
           return x
   # 初始化
   model = SimpleNN()
   criterion = nn.CrossEntropyLoss()
   optimizer = optim.SGD(model.parameters(), lr=0.01)
   # 模拟数据
   inputs = torch.randn(32, 10)
   labels = torch.randint(0, 2, (32,))
   # 训练步骤
   optimizer.zero_grad()
   outputs = model(inputs)
   loss = criterion(outputs, labels)
   loss.backward()  # 反向传播计算梯度
   optimizer.step()  # 参数更新

三、NLP任务中的优化策略

1. 梯度消失问题

   • 现象：在深层RNN中，长距离依赖导致梯度逐层衰减。
   • 解决方案：
     • 使用LSTM/GRU替代基础RNN
     • 梯度裁剪（Gradient Clipping）：限制梯度范数，公式为：
       $$
       \text{if } |g| > \text{threshold}, \quad g = \frac{\text{threshold}}{|g|} g
       $$

2. 参数初始化方法

   • Xavier初始化：适用于Sigmoid/Tanh激活函数，公式为 $W \sim \mathcal{U}(-\sqrt{\frac{6}{n{in}+n{out}}}, \sqrt{\frac{6}{n{in}+n{out}}})$
   • Kaiming初始化：针对ReLU设计，公式为 $W \sim \mathcal{N}(0, \sqrt{\frac{2}{n_{in}}})$

3. 学习率调整策略

   • 余弦退火：学习率随训练轮次呈余弦变化，公式为：
     $$
     \etat = \eta{\min} + \frac{1}{2}(\eta{\max} - \eta{\min})(1 + \cos(\frac{t\pi}{T}))
     $$
   • 预热调度：前几个epoch使用低学习率逐步升温，避免初始阶段震荡。

四、实践建议

1. 调试技巧

   • 使用梯度检查（Gradient Check）验证反向传播正确性
   • 可视化工具（如TensorBoard）监控梯度分布

2. 效率优化

   • 混合精度训练：FP16计算加速，FP32参数更新
   • 分布式数据并行：多GPU同步更新参数

3. 超参数选择

   • 批量大小（Batch Size）：通常设为2的幂次（如32,64）
   • 动量系数（Momentum）：常见值为0.9，加速收敛

五、前沿发展

1. 二阶优化方法

   • K-FAC近似自然梯度，减少Hessian矩阵计算开销
   • AdamW优化器：解耦权重衰减与自适应学习率

2. 反向传播变体

   • 直通估计器（Straight-Through Estimator）：处理离散变量梯度
   • 合成梯度（Synthetic Gradients）：解耦模块间依赖

通过系统掌握神经网络架构设计与反向传播机制，开发者能够构建高效的NLP模型。建议从简单任务（如文本分类）入手，逐步实践复杂架构（如Transformer），并结合可视化工具深入理解梯度流动规律。