斯坦福NLP课程第12讲：子词模型深度解析与应用实践

在自然语言处理（NLP）领域，词汇表的设计直接影响模型性能。传统词级模型（Word-Level）因开放词汇问题（OOV）难以处理罕见词或新词，而字符级模型（Character-Level）虽能解决OOV，但会丢失语义单元信息。子词模型（Subword Model）通过动态分割文本为子词单元，在灵活性与语义完整性间取得平衡，成为现代NLP架构的核心组件。本讲将围绕子词模型的技术原理、实现方法及实践应用展开深入探讨。

一、子词模型的核心价值：解决词汇表设计的两难困境

1.1 词级模型的局限性

词级模型以完整单词为基本单元，需预先定义固定词汇表。例如，英语词汇表通常包含3万-10万个词，但实际场景中仍会遇到未登录词（如新造词、拼写错误或专业术语）。当输入包含词汇表外的词时，模型会将其映射为<UNK>（未知词），导致语义丢失。例如，在医疗文本中，”COVID-19”若未被收录，模型无法理解其含义。

1.2 字符级模型的缺陷

字符级模型将文本拆分为单个字符（如”h”、”e”、”l”、”l”、”o”），虽能完全避免OOV问题，但会破坏语义单元。例如，”unhappy”被拆分为”u”、”n”、”h”、”a”、”p”、”p”、”y”、”e”后，模型需通过长距离依赖学习”un-“表示否定，计算效率低下且难以捕捉复杂语义。

1.3 子词模型的平衡之道

子词模型通过统计或规则方法将文本分割为介于词与字符之间的子词单元（如”un”、”happy”），既保留部分语义信息，又具备处理未知词的能力。例如，”unhappily”可被分割为”un”、”happy”、”ly”，即使”unhappily”未出现在训练集中，模型仍能通过子词组合理解其含义。

二、子词模型的实现方法：从统计到神经网络的演进

2.1 基于统计的分割方法：BPE与WordPiece

2.1.1 Byte Pair Encoding（BPE）

BPE通过迭代合并高频字符对实现子词分割。初始阶段，每个字符为一个单元（如”h”、”e”、”l”、”l”、”o”）。算法步骤如下：

1. 统计所有相邻字符对的频率；
2. 合并频率最高的字符对（如”h”与”e”合并为”he”）；
3. 更新字符对列表并重复步骤1-2，直至达到预设的词汇表大小。

示例：
原始文本：”hello world”
初始分割：[“h”, “e”, “l”, “l”, “o”, “ “, “w”, “o”, “r”, “l”, “d”]
合并”l”+”l”→”ll”后：[“h”, “e”, “ll”, “o”, “ “, “w”, “o”, “r”, “l”, “d”]
最终可能输出：[“hell”, “o”, “ “, “world”]

2.1.2 WordPiece

WordPiece与BPE类似，但优化目标为最大化语言模型概率。其核心思想是通过贪心算法选择能提升模型似然度的子词分割。例如，在训练GPT时，WordPiece会优先合并对预测下一个词帮助最大的字符对。

2.2 基于神经网络的分割方法：Unigram LM

Unigram模型通过最大化子词序列的联合概率实现分割。其核心步骤如下：

1. 初始化候选子词集（如所有字符+常见词根）；
2. 计算每个候选子词对整体概率的贡献；
3. 移除贡献最低的子词，重新训练模型；
4. 重复步骤2-3，直至收敛。

优势：

• 支持多路径分割（如”unhappy”可分割为”un”+”happy”或”u”+”n”+”happy”），模型自动选择最优路径；
• 无需预设词汇表大小，适应不同场景需求。

三、子词模型的应用实践：从预处理到模型训练

3.1 数据预处理中的子词分割

以HuggingFace的tokenizers库为例，实现BPE分割的代码示例如下：

from tokenizers import ByteLevelBPETokenizer
# 初始化BPE分词器
tokenizer = ByteLevelBPETokenizer()
# 训练分词器（需提供语料库）
tokenizer.train_from_iterator(["hello world", "unhappy day"], vocab_size=1000)
# 分割文本
output = tokenizer.encode("unhappily")
print(output.tokens)  # 输出: ['un', 'happy', 'ly']

3.2 模型训练中的子词处理

在Transformer架构中，子词模型通过嵌入层（Embedding Layer）将子词索引映射为向量。例如，BERT使用WordPiece分词器，其词汇表包含3万个子词，覆盖绝大多数英语文本。训练时，模型通过注意力机制学习子词间的依赖关系。

关键参数：

• vocab_size：控制词汇表大小，通常设为1万-5万；
• max_len：限制序列长度，避免计算资源浪费。

3.3 推理阶段的子词解码

推理时，需将模型输出的子词序列还原为完整文本。例如，预测结果为["un", "happy", "ly"]，解码后为”unhappily”。若遇到<UNK>，可通过回退到字符级或上下文预测处理。

四、子词模型的优化方向：效率与泛化能力的提升

4.1 动态词汇表调整

针对领域适配问题，可通过增量训练动态扩展词汇表。例如，在医疗领域加入专业术语（如”antibiotic”），或在游戏领域加入新造词（如”lootbox”）。

4.2 多语言子词模型

跨语言场景下，共享子词可提升模型泛化能力。例如，mBERT（Multilingual BERT）通过联合训练多种语言，使”un-“在英语和法语中均表示否定。

4.3 结合上下文的子词预测

最新研究（如BPE-dropout）通过随机丢弃部分子词合并，增强模型对分割变体的鲁棒性。例如，输入”unhappily”可能被分割为”un”+”happy”+”ly”或”unh”+”appy”+”ly”，模型需学习两种分割的共同语义。

五、开发者实践建议：从理论到落地的三步法

1. 选择合适的分词器：

   • 通用场景：优先使用BPE（如GPT）或WordPiece（如BERT）；
   • 低资源语言：尝试Unigram模型，支持小词汇表；
   • 多语言任务：选择共享子词的预训练模型（如mBERT）。

2. 优化词汇表参数：

   • 通过网格搜索确定vocab_size，平衡计算效率与覆盖率；
   • 对领域数据增量训练，提升专业术语处理能力。

3. 监控分割质量：

   • 统计<UNK>比例，若超过5%需扩展词汇表；
   • 检查长尾子词的频率，移除低频噪声（如单字符子词）。

结语：子词模型——NLP词汇表设计的范式革新

子词模型通过动态分割文本，在词级与字符级模型间架起桥梁，成为现代NLP架构的基石。从BPE到Unigram，从单语言到多语言，子词分割技术不断演进，为开发者提供了更灵活、更鲁棒的文本处理方案。未来，随着自监督学习的发展，子词模型或将与上下文嵌入深度融合，进一步推动NLP技术的边界。