哈工大2022秋NLP期末试题深度解析与备考指南

摘要

本文基于考生回忆，系统梳理了哈尔滨工业大学2022年秋季学期《自然语言处理》课程期末考试试题，涵盖语言模型、词法分析、句法分析、语义理解、机器翻译等核心模块。通过试题结构分析、典型题目解析及备考建议，为NLP学习者提供参考框架，同时揭示哈工大在NLP教学与科研中的特色方向。

一、考试整体结构与命题特点

1.1 试卷构成与分值分布

本次考试采用闭卷形式，满分100分，考试时长120分钟。试题分为三大板块：

• 基础理论题（40分）：涵盖概率语言模型、词向量表示、句法分析算法等核心概念；
• 算法实现题（30分）：要求手写代码实现NLP经典算法，如Viterbi算法、CKY解析算法；
• 综合应用题（30分）：结合Transformer架构、预训练语言模型等前沿技术设计案例分析。

1.2 命题特色分析

试题突出“理论-算法-应用”三级能力考核：

• 理论深度：如要求推导n-gram语言模型的平滑方法（Good-Turing估计）；
• 工程能力：通过代码实现考察学生对动态规划、图算法的掌握；
• 前沿洞察：设置关于BERT、GPT等模型的对比分析题，体现对学术动态的跟踪。

二、核心模块试题解析

2.1 语言模型与词法分析

典型题目：
“给定语料库‘自然语言处理很有趣’，使用最大似然估计计算二元语法模型P(处理|语言)的概率，并说明平滑技术的必要性。”

解析要点：

1. 最大似然估计：统计语料中“语言 处理”的出现次数与“语言”后接所有词的总次数之比；
2. 平滑技术：针对零概率问题，需引入Good-Turing或Kneser-Ney平滑，避免模型过拟合。

备考建议：

• 熟记n-gram模型的概率计算公式；
• 理解不同平滑方法的适用场景（如Good-Turing适合低频词，Kneser-Ney适合长距离依赖）。

2.2 句法分析与语义理解

典型题目：
“使用CKY算法解析句子‘科学家发明机器人’，给出完整的句法树构建过程。”

解析要点：

1. CKY算法步骤：
   • 初始化：将句子分词并构建底层单元格；
   • 递归填充：根据上下文无关文法规则合并子单元；
   • 顶层输出：从根节点回溯构建完整句法树。
2. 关键点：需正确处理歧义（如“发明”可能是动词或名词）。

代码示例（伪代码）：

def CKY_parse(sentence, grammar):
    n = len(sentence)
    table = [[set() for _ in range(n)] for _ in range(n)]
    # 初始化底层
    for i in range(n):
        for rule in grammar:
            if rule.rhs == [sentence[i]]:
                table[i][i].add(rule.lhs)
    # 递归填充
    for length in range(2, n+1):
        for i in range(n - length + 1):
            j = i + length - 1
            for k in range(i, j):
                for A in table[i][k]:
                    for B in table[k+1][j]:
                        for rule in grammar:
                            if rule.rhs == [A, B]:
                                table[i][j].add(rule.lhs)
    return table[0][n-1]

2.3 机器翻译与序列建模

典型题目：
“对比基于RNN的编码器-解码器框架与Transformer架构的差异，并分析自注意力机制的优势。”

解析要点：

1. RNN的局限性：长序列梯度消失、并行计算困难；
2. Transformer的创新：
   • 自注意力机制：全局依赖捕捉，并行化训练；
   • 多头注意力：多维度特征抽取；
   • 位置编码：保留序列顺序信息。

数据支撑：
引用《Attention Is All You Need》论文中的实验结果，说明Transformer在BLEU评分上的提升。

三、前沿技术考察方向

3.1 预训练语言模型

典型题目：
“分析BERT的掩码语言模型（MLM）与GPT的自回归语言模型（AR）在预训练目标上的差异，并讨论其对下游任务的影响。”

解析要点：

1. MLM的优势：双向上下文建模，适合填空类任务（如问答）；
2. AR的优势：生成式任务天然适配，但单向编码限制上下文利用。

案例延伸：
结合哈工大与社会计算研究中心的研究，讨论预训练模型在中文信息处理中的挑战（如分词粒度、语义歧义）。

3.2 低资源NLP

典型题目：
“设计一种基于迁移学习的低资源命名实体识别方案，说明数据增强与模型微调的策略。”

解析要点：

1. 数据增强：
   • 回译（Back Translation）：通过翻译模型生成多语言平行语料；
   • 同义词替换：利用词向量空间相似性扩充标注数据。
2. 模型微调：
   • 参数高效微调（如Adapter、Prompt Tuning）；
   • 多任务学习：联合训练NER与相关任务（如词性标注）。

四、备考策略与资源推荐

4.1 知识体系构建

• 基础理论：精读Jurafsky & Martin《Speech and Language Processing》第3-6章；
• 算法实现：通过LeetCode“NLP专题”练习动态规划、图算法；
• 前沿论文：跟踪ACL、EMNLP等顶会论文，重点关注哈工大团队的工作。

4.2 实践项目建议

• 复现经典模型：从TF-IDF到Transformer逐步实现；
• 参与开源：贡献至Hugging Face Transformers库，熟悉工业级代码规范；
• 竞赛锻炼：参加Kaggle NLP竞赛，提升工程化能力。

4.3 考试技巧

• 时间分配：基础题（40分钟）、算法题（50分钟）、综合题（30分钟）；
• 答题规范：算法题需注明时间复杂度，综合题需结合具体模型分析；
• 查漏补缺：重点复习概率图模型、依存句法分析等高频考点。

五、总结与展望

本次考试体现了哈工大NLP课程“理论扎实、应用导向”的特色，试题既考察对经典算法的理解（如Viterbi、CKY），也关注前沿技术（如Transformer、预训练模型）。对于学习者而言，需在掌握基础理论的同时，通过实践项目与论文阅读培养工程能力与学术洞察力。未来，随着大模型技术的演进，NLP考试可能进一步强化对模型可解释性、伦理问题的考察，建议持续关注学术动态与产业实践的结合。