哈工大2022秋NLP期末试题深度解析与备考指南

一、考试整体概况与题型分布

2022年秋季哈尔滨工业大学自然语言处理（NLP）课程期末考试延续了往年的命题风格，注重基础理论与工程实践的结合，题型覆盖选择题、简答题、计算题与综合应用题四大类。试卷满分100分，考试时长120分钟，难度系数较往年略有提升，尤其在预训练模型与跨语言处理等前沿领域考察更为深入。

题型分布与分值占比

1. 选择题（20分）：聚焦NLP基础概念，如词法分析、句法分析、语义角色标注等，题目设计强调对核心算法原理的理解而非记忆。
2. 简答题（30分）：要求结合具体场景解释技术原理，例如“对比BERT与GPT的预训练目标差异”“分析注意力机制在机器翻译中的作用”。
3. 计算题（25分）：涉及概率图模型（如HMM、CRF）的参数计算、神经网络梯度推导等，需展示完整的数学推导过程。
4. 综合应用题（25分）：以实际NLP任务为背景，如设计一个基于Transformer的文本分类模型，需阐述数据预处理、模型选择、损失函数设计及评估指标等全流程。

二、核心考点与典型试题解析

考点1：预训练语言模型（PLM）

典型试题：
“简述BERT的Masked Language Model（MLM）预训练任务如何解决‘暴露偏差’问题，并分析其与GPT自回归式预训练的优劣。”

解析：
MLM通过随机遮盖输入文本中的部分词并预测被遮盖词，迫使模型学习上下文双向信息，从而缓解自回归模型（如GPT）仅依赖单向上下文的局限性。但MLM的缺点是训练与微调阶段的不一致（微调时无遮盖词），而GPT的自回归式预训练更贴近生成任务的实际场景。备考时需重点理解PLM的设计动机与适用场景。

建议：

• 对比不同PLM（BERT、RoBERTa、XLNet）的预训练任务差异。
• 通过代码实现MLM任务（如使用Hugging Face Transformers库），加深对遮盖策略与损失计算的理解。

考点2：序列标注与CRF模型

典型试题：
“给定句子‘我喜欢自然语言处理’，手动计算CRF模型在标注序列‘B-PER I-PER O B-TECH I-TECH’下的条件概率（需列出特征函数与参数）。

解析：
CRF的条件概率计算需定义状态特征函数（如当前词是否为“我”且标签为B-PER）与转移特征函数（如从B-PER转移到I-PER的转移概率）。考试中通常提供简化版的特征函数表，考生需根据公式：
[ P(y|x) = \frac{1}{Z(x)} \exp \left( \sum{i=1}^n \sum{k} \lambdak f_k(y{i-1}, y_i, x, i) \right) ]
完成计算。关键在于正确识别特征函数并应用对数线性模型的指数形式。

建议：

• 推导CRF的前向-后向算法，理解归一化因子 ( Z(x) ) 的计算。
• 使用PyTorch或TensorFlow实现CRF层，对比与HMM的差异。

考点3：注意力机制与Transformer

典型试题：
“推导Transformer自注意力机制中Query、Key、Value的矩阵运算过程，并分析多头注意力的优势。”

解析：
自注意力的核心公式为：
[ \text{Attention}(Q, K, V) = \text{softmax} \left( \frac{QK^T}{\sqrt{d_k}} \right) V ]
考试中可能要求展开矩阵维度（如输入序列长度为 ( n )，维度为 ( d )，则 ( Q \in \mathbb{R}^{n \times d} )），并解释缩放因子 ( \sqrt{d_k} ) 的作用（防止点积过大导致softmax梯度消失）。多头注意力通过并行多个注意力头捕捉不同子空间的特征，增强模型表达能力。

建议：

• 动手实现缩放点积注意力，可视化注意力权重分布。
• 对比Transformer与RNN在长序列建模中的性能差异。

三、备考策略与资源推荐

1. 理论夯实：从公式到代码

• 数学基础：重点复习概率图模型（HMM、CRF）、优化算法（SGD、Adam）与信息论（交叉熵、KL散度）。
• 代码实践：使用PyTorch或TensorFlow实现核心算法（如RNN、Transformer），推荐资源：
  • 《Speech and Language Processing》第3版配套代码。
  • Hugging Face Transformers库文档。

2. 论文精读：紧跟前沿

• 必读论文：BERT、GPT、Transformer-XL、T5等经典工作，关注动机、方法与实验部分。
• 扩展阅读：近两年顶会（ACL、EMNLP）中关于低资源NLP、多模态预训练的论文。

3. 模拟训练：限时答题

• 组建学习小组，互相出题并限时完成，重点训练计算题的推导速度与综合应用题的架构设计能力。
• 参考往年试题，分析高频考点（如CRF、注意力机制几乎每年必考）。

四、考试趋势与未来方向

2022年试题显示，哈工大NLP课程愈发重视以下方向：

1. 预训练模型的底层原理：从应用转向对自监督任务设计、模型结构创新的深入理解。
2. 跨语言与多模态处理：综合应用题可能涉及跨语言文本分类或多模态（文本+图像）任务设计。
3. 效率与可解释性：计算题可能考察模型压缩（如量化、剪枝）或注意力可视化方法。

结语
哈工大2022年秋季NLP期末考试不仅考察对经典理论的掌握，更强调将技术应用于实际问题的能力。通过系统复习基础、动手实现算法、精读前沿论文，考生可全面提升NLP工程与科研素养。未来，随着大模型技术的演进，NLP考试将更注重对模型泛化能力、伦理影响的思考，值得持续关注。