斯坦福NLP课程 | 第12讲 - NLP子词模型：从原理到实践

一、引言：子词模型为何成为NLP的“基石”？

在自然语言处理（NLP）领域，词汇的表示是模型理解与生成语言的基础。传统的词级模型（如Word2Vec、GloVe）依赖固定的词汇表，但面对海量文本时，会面临两大问题：

1. 词汇表爆炸：罕见词、新词（如网络用语、专有名词）无法被覆盖；
2. 语义稀疏性：低频词的嵌入向量质量差，影响模型泛化能力。

子词模型（Subword Model）通过将词拆分为更小的单元（如子词、字符或字符n-gram），解决了上述问题。其核心思想是：利用子词组合表示未知词，同时保留词级信息的语义连续性。本讲将系统解析子词模型的原理、实现方法及实际应用场景。

二、子词模型的核心原理：从拆分到表示

1. 子词拆分的目标与挑战

子词模型的核心任务是将词拆分为“有意义的子单元”，同时满足以下条件：

• 覆盖性：所有词汇（包括罕见词）可被子单元组合表示；
• 紧凑性：子单元数量尽可能少，避免冗余；
• 语义一致性：子单元的组合应能反映原词的语义。

挑战：如何平衡拆分的粒度（粗/细）与模型的复杂度？例如，英文中“unhappiness”可拆分为“un”+“happi”+“ness”，但“happi”是否是一个合理的子词？

2. 主流子词拆分方法

（1）Byte Pair Encoding (BPE)

BPE是一种自底向上的算法，通过迭代合并高频字符对生成子词表：

1. 初始化：将文本拆分为字符序列；
2. 统计：计算所有相邻字符对的频率；
3. 合并：将频率最高的字符对合并为一个新子词；
4. 重复：直到达到预设的子词表大小。

示例：

• 初始文本：“low”、“lower”、“newest”、“widest”
• 第一步合并：“e”+“s”→“es”（因“es”在“lowest”“widest”中高频出现）
• 最终子词表可能包含：low, er, new, est, wide, es

优点：简单高效，适合处理未登录词（OOV）。

（2）Unigram Language Model

基于最大似然估计的统计方法，假设词由子词独立生成：

1. 初始化一个较大的候选子词集；
2. 通过EM算法迭代优化子词概率，删除低概率子词；
3. 最终保留概率较高的子词组合。

示例：

• 候选子词集：un, happi, ness, unhappi, ness
• 优化后可能保留：un, happy, ness（因“happi”的语义不如“happy”明确）

优点：更灵活，可生成语义更合理的子词。

（3）WordPiece与SentencePiece

• WordPiece：谷歌BERT使用的子词算法，类似BPE但基于概率选择合并对；
• SentencePiece：支持未空格分隔的语言（如中文、日文），直接将原始文本作为输入。

三、子词模型的应用场景与优势

1. 机器翻译（MT）

在神经机器翻译（NMT）中，子词模型可有效处理低频词和未登录词。例如：

• 输入：“The cat is happy.” → 输出：“猫 是 开心 的。”
• 若“happy”未在训练集中出现，BPE可能将其拆分为“happ”+“y”，并通过上下文学习语义。

2. 预训练语言模型（PLM）

BERT、GPT等模型均采用子词表示，原因包括：

• 减少词汇表大小：BERT的词汇表约3万，远小于词级模型的10万+；
• 提升泛化能力：子词组合可共享语义（如“un”+“happy”→“不高兴”）。

3. 低资源语言处理

对于数据稀缺的语言（如方言、小语种），子词模型可通过少量数据生成有效的子词表，避免依赖大规模语料。

四、子词模型的挑战与解决方案

1. 拆分不一致性

问题：同一词在不同上下文中可能被拆分为不同子词（如“running”→“run”+“ning”或“runn”+“ing”）。
解决方案：

• 使用统一的子词表（如BERT的全局词汇表）；
• 引入上下文感知的拆分策略（如SpanBERT）。

2. 语义模糊性

问题：子词组合可能无法准确表达原词语义（如“fire”拆分为“fir”+“e”）。
解决方案：

• 结合字符级信息（如CharCNN）；
• 使用混合模型（词级+子词级）。

3. 计算效率

问题：子词模型可能增加序列长度（如“unhappiness”→3个子词），导致计算开销上升。
解决方案：

• 优化子词表大小（通常2万-5万）；
• 使用更高效的编码方式（如SentencePiece的BPES）。

五、实践建议：如何选择子词模型？

1. 任务类型：

   • 生成任务（如MT、文本生成）：优先选BPE或SentencePiece；
   • 分类任务（如文本分类）：可尝试Unigram或混合模型。

2. 语言特性：

   • 空格分隔语言（英文）：BPE/WordPiece；
   • 非空格分隔语言（中文）：SentencePiece。

3. 数据规模：

   • 小数据集：Unigram（避免过拟合）；
   • 大数据集：BPE（效率更高）。

4. 工具推荐：

   • HuggingFace的tokenizers库：支持BPE、Unigram、WordPiece；
   • Google的sentencepiece：适合多语言场景。

六、总结与展望

子词模型通过“分而治之”的策略，显著提升了NLP模型对罕见词和未登录词的处理能力。从BPE到Unigram，再到SentencePiece，子词技术不断优化，已成为现代NLP系统的标配。未来，随着多语言、低资源场景的需求增长，子词模型将进一步融合语义信息（如词根、词缀），实现更精准的词汇表示。

行动建议：

• 尝试用SentencePiece处理非英文文本；
• 在预训练任务中对比不同子词模型的性能；
• 关注子词模型与知识图谱的结合（如引入词源信息）。

通过本讲的学习，读者可深入理解子词模型的核心思想，并灵活应用于实际NLP任务中。