哈工大2022秋NLP期末试题深度解析与备考指南

一、试题整体结构与考察重点

哈工大2022年秋季NLP期末考试延续了”理论+实践”的考核模式，试卷分为三大模块：基础理论（40%）、算法实现（35%）和前沿应用（25%）。试题设计紧扣课程核心知识点，覆盖从语言模型、句法分析到深度学习NLP应用的完整链条，既考察学生对经典理论的掌握，也强调算法实现与工程能力。

1. 基础理论模块

核心考点：语言模型、词法分析、句法分析、语义表示。
典型题目示例：

• 语言模型概率计算：给定语料库”我 爱 自然 语言 处理”，要求计算三元语言模型下P(“自然 语言”)的条件概率。
  解析：需先统计三元组频次，再通过最大似然估计计算概率，考察对N-gram模型的理解。
• 句法分析树构建：提供句子”猫 追 老鼠”，要求手动绘制依存句法分析树，并标注依存关系类型（如主谓、动宾）。
  关键点：依存关系的定义（如”追”的施事是”猫”，受事是”老鼠”）和树结构的正确性。

2. 算法实现模块

核心考点：词向量训练、序列标注、注意力机制。
典型题目示例：

• Word2Vec实现：给定语料库[“我 爱 NLP”, “NLP 很 有趣”]，要求手动计算Skip-gram模型下中心词”NLP”的上下文词”爱”的梯度更新过程（假设初始向量维度为2）。
  代码框架：

  import numpy as np
  # 初始化词向量（假设词表为["我","爱","NLP","很","有趣"]）
  embedding = np.random.randn(5, 2)  # 5个词，每个词2维
  # 计算上下文词"爱"（索引1）的梯度
  context_idx = 1
  center_vec = embedding[2]  # "NLP"的向量
  context_vec = embedding[1]
  # 假设负采样概率为p(o|c)=sigmoid(center_vec·context_vec)
  score = np.dot(center_vec, context_vec)
  loss = -np.log(1 / (1 + np.exp(-score)))  # 负采样损失
  grad = (1 - 1/(1+np.exp(-score))) * context_vec  # 梯度计算

  考察点：梯度推导过程、负采样逻辑和向量更新规则。

3. 前沿应用模块

核心考点：预训练模型、多模态NLP、伦理与安全。
典型题目示例：

• BERT预训练任务分析：解释Masked Language Model（MLM）和Next Sentence Prediction（NSP）的设计动机，并讨论NSP在下游任务中的局限性。
  关键回答：MLM通过随机遮盖词学习双向上下文，NSP用于句子对关系判断，但NSP可能因负样本构造简单（随机配对）导致对语义关联的捕捉不足。
• 多模态NLP案例：给定图像描述任务”一只猫在沙发上睡觉”，要求设计一个结合文本和图像的模型架构（可画图或文字描述）。
  参考方案：使用Transformer编码器分别处理文本和图像特征（如ResNet提取图像特征），再通过交叉注意力机制融合多模态信息。

二、备考策略与建议

1. 理论部分：构建知识图谱

• 语言模型：重点掌握N-gram的平滑技术（如Add-one、Kneser-Ney）和神经语言模型（RNN/LSTM的缺陷与Transformer的改进）。
• 句法分析：区分依存句法（Dependency Parsing）和短语结构树（Constituency Parsing），理解转换规则（如CFG到PCFG）。
• 语义表示：对比词袋模型、分布式表示（Word2Vec/GloVe）和上下文表示（ELMo/BERT）的演进逻辑。

2. 算法部分：强化编程能力

• 词向量训练：用PyTorch实现Skip-gram或CBOW，注意负采样策略和损失函数优化。
• 序列标注：以CRF为例，手动推导前向-后向算法和梯度计算过程。
• 注意力机制：从缩放点积注意力（Scaled Dot-Product Attention）到多头注意力（Multi-Head Attention），理解Q/K/V矩阵的物理意义。

3. 前沿部分：关注最新论文

• 预训练模型：对比BERT、RoBERTa、ALBERT的设计差异（如参数共享、训练数据规模）。
• 多模态NLP：阅读CLIP、ViLT等模型，理解如何通过对比学习或联合训练实现模态对齐。
• 伦理与安全：讨论NLP模型的偏见（如性别、职业偏见）检测方法和缓解策略（如数据去偏、对抗训练）。

三、考试趋势与未来方向

从2022年试题看，哈工大NLP课程正从经典理论向深度学习驱动转型，同时强调可解释性和伦理约束。例如，算法实现题中增加了对梯度消失、过拟合等实际问题的考察，前沿应用题则要求分析模型的社会影响。未来备考需注重：

1. 理论与实践结合：不仅会推导公式，还要能通过代码验证理论。
2. 跨学科视野：关注NLP与计算机视觉、强化学习的交叉（如视觉问答、对话系统）。
3. 工程化能力：熟悉Hugging Face Transformers库等工具，能快速实现SOTA模型。

结语

哈工大2022年秋季NLP期末考试试题既是对课程知识的全面检验，也是对NLP研究者能力的系统考察。通过深入分析试题结构、核心考点和备考策略，学习者可更高效地掌握NLP领域的关键技术，为后续研究或工程实践打下坚实基础。