斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型

一、课程背景与核心目标

作为斯坦福大学CS224N自然语言处理课程的经典章节，第14讲聚焦于Transformers模型的核心架构——自注意力机制及其在生成模型中的应用。该模型自2017年《Attention Is All You Need》论文提出后，彻底改变了NLP领域的技术范式，成为BERT、GPT等预训练模型的基础架构。本讲通过理论推导、代码实现与案例分析，系统解析自注意力机制如何实现长距离依赖建模，以及如何通过生成式架构完成文本生成任务。

二、自注意力机制：从理论到实现

1. 注意力机制的数学本质

自注意力（Self-Attention）的核心思想是通过动态计算输入序列中各元素间的相关性权重，实现全局信息的交互。其数学形式可表示为：
[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]
其中：

• (Q)（Query）、(K)（Key）、(V)（Value）为输入序列的线性变换矩阵
• (\sqrt{d_k})为缩放因子，防止点积结果过大导致梯度消失
• softmax函数将相关性分数转换为概率分布

关键点：通过缩放点积注意力，模型能够高效捕捉输入序列中任意位置的关系，且计算复杂度仅与序列长度平方相关（(O(n^2))），远优于RNN的线性复杂度。

2. 多头注意力：并行化信息提取

为增强模型对不同语义维度的捕捉能力，Transformers引入多头注意力机制：

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super().__init__()
        self.d_model = d_model
        self.num_heads = num_heads
        self.depth = d_model // num_heads
        self.wq = nn.Linear(d_model, d_model)
        self.wk = nn.Linear(d_model, d_model)
        self.wv = nn.Linear(d_model, d_model)
        self.dense = nn.Linear(d_model, d_model)
    def split_heads(self, x, batch_size):
        x = x.reshape(batch_size, -1, self.num_heads, self.depth)
        return x.transpose(1, 2)
    def forward(self, q, k, v, mask=None):
        batch_size = q.shape[0]
        q = self.wq(q)  # (batch_size, seq_len, d_model)
        k = self.wk(k)
        v = self.wv(v)
        q = self.split_heads(q, batch_size)  # (batch_size, num_heads, seq_len, depth)
        k = self.split_heads(k, batch_size)
        v = self.split_heads(v, batch_size)
        scores = torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.depth))
        if mask is not None:
            scores = scores.masked_fill(mask == 0, float("-1e9"))
        attention_weights = torch.softmax(scores, dim=-1)
        output = torch.matmul(attention_weights, v)  # (batch_size, num_heads, seq_len, depth)
        output = output.transpose(1, 2).reshape(batch_size, -1, self.d_model)
        return self.dense(output)

代码解析：

• 输入序列通过线性层生成(Q)、(K)、(V)
• 分割为多个头后并行计算注意力
• 合并结果通过线性层输出最终表示

优势：多头机制允许模型同时关注不同语义子空间（如语法、语义、指代等），显著提升表达能力。

3. 位置编码：弥补序列顺序缺失

由于自注意力机制本身不包含位置信息，Transformers通过正弦位置编码注入序列顺序：
[ PE{(pos, 2i)} = \sin(pos / 10000^{2i/d{model}}) ]
[ PE{(pos, 2i+1)} = \cos(pos / 10000^{2i/d{model}}) ]
其中(pos)为位置索引，(i)为维度索引。该编码方式使模型能够通过相对位置推断序列顺序。

三、生成模型：从解码器到自回归生成

1. 解码器架构与掩码机制

生成任务（如文本生成、翻译）通常采用解码器-only架构，其核心特点包括：

• 因果掩码：确保预测第(t)个token时仅依赖前(t-1)个token

  def create_look_ahead_mask(size):
    mask = torch.triu(torch.ones(size, size), diagonal=1)
    return mask == 0  # 转换为0/1掩码

• 自回归生成：通过逐个token预测实现序列生成

2. 训练与推理的差异

• 训练阶段：使用教师强制（Teacher Forcing），并行计算所有位置的损失
• 推理阶段：采用贪心搜索或束搜索（Beam Search），逐步生成token

关键挑战：

• 暴露偏差（Exposure Bias）：训练时依赖真实前文，推理时依赖自身预测
• 长文本生成：需平衡生成质量与计算效率

四、实践建议与优化方向

1. 模型压缩与加速

• 知识蒸馏：将大模型（如GPT-3）的知识迁移到小模型
• 量化：将FP32权重转换为INT8，减少内存占用
• 稀疏注意力：通过局部敏感哈希（LSH）或块状注意力减少计算量

2. 生成质量提升

• 采样策略：调整温度参数（Temperature）或使用Top-k/Top-p采样
• 评估指标：结合BLEU、ROUGE等自动指标与人工评估
• 可控生成：通过提示工程（Prompt Engineering）或条件生成控制输出风格

3. 伦理与安全

• 偏见检测：使用公平性指标（如WEAT）评估模型偏见
• 内容过滤：部署敏感词检测或对抗训练防止有害内容生成

五、课程总结与延伸思考

本讲通过自注意力机制的数学推导、多头注意力的代码实现，以及生成模型的应用案例，系统解析了Transformers的核心技术。其创新点在于：

1. 并行化计算：突破RNN的序列依赖限制
2. 全局信息捕捉：通过自注意力实现长距离依赖建模
3. 生成灵活性：支持自回归与非自回归生成模式

未来方向：

• 高效Transformers：如Linformer、Performer等线性复杂度变体
• 多模态融合：结合视觉、语音等模态的跨模态注意力
• 持续学习：解决预训练-微调范式中的灾难性遗忘问题

通过深入理解自注意力与生成模型，开发者能够更高效地应用Transformers架构，同时为解决NLP领域的实际挑战（如低资源语言处理、长文本理解）提供技术基础。