斯坦福NLP课程第13讲：深入解析上下文表征与预训练模型

一、课程背景与核心目标

斯坦福大学NLP课程第13讲聚焦于基于上下文的表征（Contextual Representation）与NLP预训练模型（Pre-trained Language Models），旨在揭示如何通过大规模无监督学习捕捉文本的动态语义信息，并解决传统词嵌入（如Word2Vec、GloVe）无法处理一词多义、上下文依赖等问题的局限性。课程从理论到实践，系统梳理了预训练模型的技术演进路径，包括ELMo、GPT、BERT等里程碑式工作，并探讨了其在下游任务中的迁移学习能力。

二、基于上下文的表征：从静态到动态的范式革命

1. 传统词嵌入的局限性

传统词嵌入方法（如Word2Vec）通过共现统计学习单词的静态表示，即每个词对应一个固定向量。然而，这种表示无法区分同一词在不同语境下的语义差异。例如，“bank”在“river bank”和“bank loan”中含义完全不同，但传统模型会赋予相同向量。

2. 上下文表征的核心思想

上下文表征的核心在于动态生成词向量，即根据输入句子的上下文实时调整单词的语义表示。其技术实现通常依赖以下两种范式：

• 上下文窗口模型：通过滑动窗口捕捉局部上下文信息（如CBOW、Skip-gram的改进版本）。
• 深度神经网络模型：利用LSTM、Transformer等结构建模长距离依赖关系。

3. 典型方法：ELMo的双向语言模型

ELMo（Embeddings from Language Models）是早期基于上下文的表征模型，其创新点在于：

• 双向LSTM架构：结合前向和后向语言模型，捕捉双向上下文信息。

• 层级表示：输出每一层的隐藏状态（浅层捕捉句法，深层捕捉语义），并通过加权融合生成最终表征。

  # ELMo的简化伪代码示例
  class ELMo:
      def __init__(self, vocab_size, embedding_dim):
          self.forward_lstm = LSTM(input_dim=embedding_dim, hidden_dim=256)
          self.backward_lstm = LSTM(input_dim=embedding_dim, hidden_dim=256)
      def forward(self, tokens):
          # 前向传播
          forward_output = self.forward_lstm(tokens)
          # 后向传播（需反转输入序列）
          backward_output = self.backward_lstm(reverse(tokens))
          # 加权融合
          contextual_emb = weighted_sum(forward_output, backward_output)
          return contextual_emb

三、NLP预训练模型：从任务特定到通用智能的跨越

1. 预训练-微调范式的兴起

预训练模型通过在海量无标注文本上学习通用语言知识，再通过微调适配具体任务（如分类、问答、生成），显著降低了对标注数据的依赖。其核心优势在于：

• 数据效率：少量标注数据即可达到高性能。
• 迁移能力：同一预训练模型可适配多种下游任务。

2. 代表性模型解析

• GPT系列（生成式预训练）：

  • GPT-1：基于单向Transformer的自回归模型，通过语言模型任务预训练。
  • GPT-3：扩展至1750亿参数，支持零样本/少样本学习，展现强大的泛化能力。

• BERT（双向编码器表示）：

  • Masked Language Model (MLM)：随机遮盖15%的词，预测被遮盖的词。
  • Next Sentence Prediction (NSP)：判断两句话是否连续，增强句子级理解。

    # BERT的MLM任务伪代码
    def masked_language_model(input_ids, mask_positions):
      # 输入包含[MASK]标记的序列
      hidden_states = bert_encoder(input_ids)
      # 提取[MASK]位置的输出
      masked_states = hidden_states[mask_positions]
      # 预测被遮盖的词
      logits = linear_layer(masked_states)
      return logits

• T5（文本到文本迁移）：
  将所有NLP任务统一为“文本输入-文本输出”格式，例如将分类任务转化为“输入文本 → 类别标签”的生成任务。

3. 预训练模型的挑战与优化方向

• 计算效率：模型参数量激增导致训练和推理成本高昂，需通过模型压缩（如蒸馏、量化）优化。
• 长文本处理：原始Transformer的平方复杂度限制长文本建模，稀疏注意力（如BigBird、Longformer）是解决方案之一。
• 多模态融合：结合视觉、语音等信息（如ViT、CLIP），拓展预训练模型的边界。

四、实践建议：如何高效应用预训练模型

1. 选择合适的预训练模型

• 任务类型：生成任务优先选择GPT类模型，理解任务优先选择BERT类模型。
• 计算资源：小规模任务可选用DistilBERT等轻量级模型。
• 语言支持：多语言任务需选择mBERT、XLM-R等跨语言模型。

2. 微调技巧

• 学习率调整：预训练参数需使用较小学习率（如1e-5），新添加的分类头可使用较大学习率（如1e-3）。
• 层冻结策略：逐步解冻底层参数（如先解冻最后一层，再解冻中间层）。
• 数据增强：通过回译、同义词替换等方式扩充训练数据。

3. 评估与调优

• 指标选择：分类任务关注准确率、F1值；生成任务关注BLEU、ROUGE等。
• 错误分析：通过混淆矩阵定位模型弱点（如特定类别的误分类）。
• 超参数搜索：使用Optuna、Hyperopt等工具自动化调参。

五、未来展望：预训练模型的演进方向

1. 更高效的架构：如线性注意力机制、混合专家模型（MoE）。
2. 更强大的多模态能力：实现文本、图像、音频的联合理解。
3. 更可控的生成：通过约束解码、价值观对齐等技术提升生成内容的可靠性。
4. 更少的数据依赖：探索自监督学习、弱监督学习等低资源场景下的方法。

斯坦福NLP课程第13讲不仅揭示了上下文表征与预训练模型的技术本质，更为开发者提供了从理论到实践的完整知识框架。通过深入理解这些核心思想，开发者能够更高效地应用预训练模型，并推动NLP技术向通用人工智能迈进。