斯坦福NLP第4讲：神经网络反向传播与计算图深度解析

一、课程核心框架与教学目标

斯坦福NLP课程第4讲以”神经网络反向传播与计算图”为核心，聚焦现代深度学习模型训练的关键环节。本讲通过理论推导与代码实现相结合的方式，揭示反向传播算法如何通过计算图高效计算梯度，并指导神经网络参数的优化。课程结构分为三个层次：基础理论（链式法则与梯度计算）、计算图建模（动态与静态图对比）、实践应用（PyTorch/TensorFlow实现案例），最终目标是使学习者掌握从数学原理到工程落地的完整链路。

二、反向传播算法的数学本质

1. 链式法则的深度应用

反向传播的核心是链式法则的递归应用。对于复合函数 ( L = f(g(h(x))) )，其梯度计算可分解为：
[
\frac{\partial L}{\partial x} = \frac{\partial L}{\partial f} \cdot \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial h} \cdot \frac{\partial h}{\partial x}
]
课程通过具体案例（如Sigmoid激活函数的梯度推导）说明，如何将复杂函数的梯度分解为局部导数的乘积。例如，Sigmoid函数 ( \sigma(z) = \frac{1}{1+e^{-z}} ) 的导数为 ( \sigma’(z) = \sigma(z)(1-\sigma(z)) )，这一性质在反向传播中被反复利用以简化计算。

2. 梯度计算的两种模式

• 前向模式（Forward Mode）：适用于输入维度较低的场景（如RNN的时间步），但计算成本随输出维度增加而线性增长。
• 反向模式（Backward Mode）：即传统反向传播，通过从输出层向输入层回传梯度，高效处理高维输出（如图像分类任务的类别概率），计算成本仅与输入维度相关。

课程通过对比两种模式的计算复杂度（( O(n) ) vs ( O(m) )，其中 ( n ) 为输入维度，( m ) 为输出维度），强调反向传播在深度学习中的不可替代性。

三、计算图的构建与优化

1. 静态图与动态图的对比

特性	静态图（TensorFlow 1.x）	动态图（PyTorch）
执行方式	先定义后执行	即时执行
调试便利性	需通过Session运行，调试困难	支持Python原生调试
性能优化	编译阶段优化，执行效率高	灵活但可能牺牲部分性能
适用场景	生产环境部署	快速原型开发与研究

课程以矩阵乘法 ( C = A \cdot B ) 为例，展示静态图如何通过预编译优化计算路径，而动态图如何通过即时执行支持条件分支和循环的灵活建模。

2. 计算图的梯度传播规则

计算图通过节点（操作）和边（数据流）表示计算过程。反向传播时，每个节点需实现以下两个接口：

class Node:
    def forward(self):  # 执行前向计算
        pass
    def backward(self, grad_output):  # 接收上游梯度，计算并传递下游梯度
        pass

以加法节点为例，其反向传播规则为：
[
\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y}, \quad \frac{\partial L}{\partial z} = \frac{\partial L}{\partial y}
]
其中 ( y = x + z )。课程通过代码实现（如PyTorch的torch.autograd.Function）说明如何自定义操作节点的梯度计算逻辑。

四、实践中的关键问题与解决方案

1. 梯度消失与爆炸的应对

• 梯度消失：常见于深层网络或使用Sigmoid/Tanh激活函数时。解决方案包括：
  • 使用ReLU及其变体（LeakyReLU、ELU）
  • 残差连接（ResNet）
  • 梯度裁剪（Gradient Clipping）
• 梯度爆炸：多见于RNN。通过权重初始化（Xavier/Glorot）和梯度归一化（Layer Normalization）缓解。

课程通过实验对比不同激活函数在100层网络中的梯度传播效果，直观展示ReLU的优势。

2. 计算图的内存优化

反向传播需存储前向计算的中间结果（如激活值），导致内存消耗随网络深度增加而激增。优化策略包括：

• 梯度检查点（Gradient Checkpointing）：以时间换空间，重新计算部分中间结果。
• 混合精度训练：使用FP16存储中间结果，减少内存占用。

课程以BERT模型训练为例，说明通过检查点技术可将内存消耗从48GB降至16GB。

五、代码实现与案例分析

1. PyTorch中的自动微分

import torch
x = torch.tensor(2.0, requires_grad=True)
y = x ** 3
z = y + torch.sin(x)
z.backward()  # 自动计算梯度
print(x.grad)  # 输出: 12 + cos(2) ≈ 12.416

代码展示了PyTorch如何通过动态图自动构建计算图并计算梯度。requires_grad=True标记需跟踪梯度的张量，backward()触发反向传播。

2. 自定义操作节点的实现

class ExpNode(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x):
        ctx.save_for_backward(x)
        return torch.exp(x)
    @staticmethod
    def backward(ctx, grad_output):
        x, = ctx.saved_tensors
        return grad_output * torch.exp(x)  # dy/dx = e^x
# 使用自定义节点
x = torch.randn(3, requires_grad=True)
y = ExpNode.apply(x)
y.sum().backward()
print(x.grad)  # 输出: e^x的值

此案例说明如何通过继承torch.autograd.Function实现自定义操作的梯度计算。

六、课程总结与学习建议

本讲通过数学推导、计算图建模和代码实践，系统阐述了反向传播算法的核心机制。学习者需重点掌握：

1. 链式法则的递归应用：理解梯度如何通过计算图逐层传递。
2. 计算图的动态构建：熟悉PyTorch/TensorFlow中图的构建与优化方式。
3. 梯度问题的调试技巧：通过梯度检查（Gradient Check）和可视化工具（TensorBoard）诊断训练异常。

实践建议：

• 从简单网络（如全连接层）开始实现反向传播，逐步过渡到复杂结构（如LSTM）。
• 对比静态图与动态图的性能差异，选择适合项目的框架。
• 关注梯度统计量（均值、方差）的变化，早期发现梯度异常。

通过本讲的学习，学习者将具备独立实现神经网络训练流程的能力，并为后续课程（如Transformer架构、优化算法）奠定坚实基础。