深度解析：斯坦福NLP第4讲神经网络反向传播与计算图

一、课程核心目标与知识框架

斯坦福大学NLP课程第4讲聚焦神经网络训练的核心机制——反向传播算法（Backpropagation）与计算图（Computational Graph）的构建。本讲通过数学推导与可视化工具，系统解析神经网络如何通过链式法则（Chain Rule）高效计算梯度，并利用计算图实现参数优化。课程分为三个层次：

1. 基础理论：反向传播的数学本质与计算图构建规则
2. 实现方法：从理论到代码的梯度计算实现
3. 应用扩展：在NLP任务中的参数优化策略

本讲内容是理解现代神经网络训练的基础，尤其对后续学习Transformer、BERT等复杂模型至关重要。

二、反向传播算法的数学本质

1. 链式法则与梯度传递

反向传播的核心是链式法则的应用。假设神经网络输出$y = f(g(h(x)))$，则输出对输入的梯度可分解为：
$\frac{dy}{dx} = \frac{dy}{dg} \cdot \frac{dg}{dh} \cdot \frac{dh}{dx}$
在神经网络中，每一层可视为一个复合函数，反向传播通过递归计算局部梯度并相乘，实现从输出层到输入层的梯度传递。

数学推导示例：
以单层感知机为例，损失函数$L = \frac{1}{2}(y - \hat{y})^2$，其中$\hat{y} = \sigma(Wx + b)$，$\sigma$为激活函数。反向传播步骤如下：

1. 计算输出层梯度：$\frac{\partial L}{\partial \hat{y}} = \hat{y} - y$
2. 计算激活函数梯度：$\frac{\partial \hat{y}}{\partial z} = \sigma’(z)$，其中$z = Wx + b$
3. 计算权重梯度：$\frac{\partial L}{\partial W} = \frac{\partial L}{\partial \hat{y}} \cdot \sigma’(z) \cdot x$

2. 计算图的动态构建

计算图通过节点（操作）和边（数据流）可视化计算过程。例如，矩阵乘法$C = AB$可表示为：

A → [MatMul] → C
B → [MatMul] → C

反向传播时，计算图自动生成反向路径：

∂L/∂C → [MatMul_Grad] → ∂L/∂A
         [MatMul_Grad] → ∂L/∂B

这种动态构建机制使得复杂模型的梯度计算可模块化实现。

三、计算图实现与代码解析

1. 静态计算图 vs 动态计算图

• 静态计算图（如TensorFlow 1.x）：先定义计算图，再执行计算。优点是优化高效，但调试困难。
• 动态计算图（如PyTorch）：计算与图构建同步进行，便于调试但性能略低。

PyTorch代码示例：

import torch
# 定义计算图
x = torch.tensor(2.0, requires_grad=True)
y = x ** 3
z = y * 2 + 5
# 反向传播
z.backward()
print(x.grad)  # 输出: 24.0 (因为 dz/dx = 6x^2 * 2, x=2时为24)

2. 关键操作梯度计算

• 加法节点：$\frac{\partial (a+b)}{\partial a} = 1$，梯度直接传递
• 乘法节点：$\frac{\partial (a \cdot b)}{\partial a} = b$，梯度需乘以输入值
• 激活函数：如Sigmoid的梯度$\sigma’(x) = \sigma(x)(1-\sigma(x))$

Sigmoid梯度计算示例：

def sigmoid(x):
    return 1 / (1 + torch.exp(-x))
x = torch.tensor(1.0, requires_grad=True)
s = sigmoid(x)
s.backward()
print(x.grad)  # 输出: 0.1966 (因为σ(1)=0.731, σ'(1)=0.731*(1-0.731))

四、NLP任务中的优化策略

1. 参数初始化与梯度裁剪

• Xavier初始化：保持输入输出方差一致，适用于Sigmoid/Tanh
• He初始化：适用于ReLU，初始化值为$\sqrt{\frac{2}{n_{in}}}$
• 梯度裁剪：防止梯度爆炸，常用方法为$\text{grad} = \text{grad} \cdot \min(\frac{c}{||\text{grad}||}, 1)$

梯度裁剪代码：

def clip_gradients(model, clip_value):
    for param in model.parameters():
        if param.grad is not None:
            param.grad.data.clamp_(-clip_value, clip_value)

2. 计算图在RNN中的应用

RNN的循环结构导致计算图需展开时间步。例如，LSTM的梯度计算需处理：

• 遗忘门梯度：$\frac{\partial Ct}{\partial f_t} = C{t-1} \odot \sigma’(f_t)$
• 输入门梯度：$\frac{\partial C_t}{\partial i_t} = \tilde{C}_t \odot \sigma’(i_t)$

LSTM梯度传播示意图：

C_{t-1} → [遗忘门] → C_t
i_t → [输入门] → C_t
o_t → [输出门] → h_t

五、实践建议与调试技巧

1. 梯度检查：通过数值近似验证反向传播正确性

   def gradient_check(model, x, y, epsilon=1e-4):
       param = next(model.parameters())
       original = param.data.clone()
       # 计算数值梯度
       param.data += epsilon
       loss_plus = compute_loss(model, x, y)
       param.data -= 2 * epsilon
       loss_minus = compute_loss(model, x, y)
       numerical_grad = (loss_plus - loss_minus) / (2 * epsilon)
       # 恢复参数并计算反向传播梯度
       param.data = original
       loss = compute_loss(model, x, y)
       loss.backward()
       analytic_grad = param.grad.data
       print("数值梯度:", numerical_grad)
       print("分析梯度:", analytic_grad)

2. 可视化工具：使用TensorBoard或PyTorchViz可视化计算图

3. 常见错误：
   • 梯度消失：通过ReLU、BatchNorm、残差连接缓解
   • 梯度爆炸：通过梯度裁剪、权重初始化优化

六、课程总结与延伸学习

本讲通过数学推导与代码实现，系统解析了反向传播与计算图的核心机制。关键收获包括：

1. 理解链式法则在神经网络中的应用
2. 掌握计算图的构建与梯度传播规则
3. 熟悉NLP任务中的参数优化策略

延伸学习建议：

• 深入阅读《Deep Learning》第6章（Goodfellow等）
• 实践PyTorch官方教程中的RNN/LSTM案例
• 探索自动微分框架（如JAX）的实现原理

通过本讲的学习，读者可建立扎实的神经网络训练基础，为后续学习Transformer等复杂模型奠定关键技术能力。