斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步

一、自然语言处理（NLP）的学科定位与技术挑战

1.1 NLP的跨学科属性

自然语言处理是人工智能领域最具挑战性的分支之一，其本质是构建计算机与人类语言之间的桥梁。作为典型的交叉学科，NLP融合了计算机科学（算法设计、系统架构）、数学（概率统计、线性代数）、语言学（句法分析、语义理解）以及认知科学（人类语言习得机制）。这种多学科融合的特性决定了NLP研究的复杂性——既要处理形式化的数学表达，又要理解充满歧义的人类语言。

1.2 工业界与学术界的技术分野

当前NLP技术发展呈现明显的二元特征：学术界侧重基础理论研究（如可解释性、少样本学习），工业界则聚焦工程化落地（如高并发处理、低延迟响应）。以机器翻译为例，学术研究可能关注如何通过图神经网络捕捉长距离依赖，而工业系统更关注如何优化beam search算法以减少计算资源消耗。这种差异要求开发者建立”理论-工程”的双重视角。

1.3 核心挑战的三维模型

NLP面临的技术挑战可抽象为三个维度：

• 语义表示：如何将离散的语言符号映射为计算机可处理的连续表示
• 上下文建模：如何捕捉词语在不同语境下的动态语义变化
• 知识融合：如何将世界知识、领域知识有效注入模型

以问答系统为例，系统需要同时解决”苹果”在科技语境下的公司含义与在食品语境下的水果含义，这要求模型具备动态语义消歧能力。

二、词向量技术的数学本质与工程实践

2.1 离散表示的局限性

传统NLP采用one-hot编码表示词语，这种表示存在两个致命缺陷：

• 维度灾难：词汇量10万时，向量维度达10万维，且99.99%元素为0
• 语义缺失：任意两个词语的余弦相似度恒为0，无法表达语义关联

# 传统one-hot表示示例
import numpy as np
vocab = ["king", "queen", "apple"]
word_to_idx = {word: idx for idx, word in enumerate(vocab)}
def one_hot(word):
    vector = np.zeros(len(vocab))
    vector[word_to_idx[word]] = 1
    return vector
print(one_hot("king"))  # 输出: [1. 0. 0.]

2.2 分布式假设的理论突破

Firth在1957年提出的分布式假设（Distributional Hypothesis）为词向量技术奠定理论基础：词语的含义由其上下文决定。基于该假设，Word2Vec等模型通过滑动窗口统计共现关系，将词语映射到低维稠密向量空间。典型参数设置中，300维向量可在保持语义信息的同时，将存储空间压缩99.97%。

2.3 词向量训练的工程优化

实际工业系统中，词向量训练需要考虑：

• 负采样策略：Google的Word2Vec采用负采样替代softmax，将计算复杂度从O(V)降至O(K)，其中K为负样本数（通常取5-20）
• 子词处理：FastText引入字符级n-gram，有效处理未登录词（OOV）问题
• 动态上下文窗口：根据词频动态调整窗口大小，高频词使用小窗口，低频词使用大窗口

# FastText子词表示示例
from gensim.models import FastText
sentences = [["apple", "pie"], ["apple", "computer"]]
model = FastText(sentences, vector_size=100, window=5, min_count=1, sg=1)
# 获取包含子词信息的词向量
print(model.wv["apple"])  # 实际包含"ap","pp","le"等子词信息

三、词向量的几何解释与应用场景

3.1 向量空间的语义几何

高质量词向量空间呈现明显的语义结构：

• 类比关系：vec(king)-vec(man)+vec(woman)≈vec(queen)
• 聚类特性：同类别词语在向量空间形成密集簇
• 线性关系：词语语义变化呈现线性轨迹（如”bad”到”good”的渐变）

通过PCA降维可视化可发现，动物类词语聚集在空间右侧，职业类词语聚集在左侧，这种空间分布为下游任务提供天然的语义特征。

3.2 工业应用的三层架构

词向量的工业应用呈现清晰的层次结构：

1. 基础层：预训练词向量（如中文Wiki数据训练的300维向量）
2. 领域适配层：在特定领域数据上继续训练（医疗文本需要加入专业术语）
3. 任务微调层：结合具体任务调整向量表示（如情感分析需要强化情感词权重）

某电商平台的实践表明，经过领域适配的词向量可使商品分类准确率提升12%，搜索相关性评分提高8%。

3.3 性能评估的双重维度

词向量质量评估需要兼顾内在指标与外在指标：

• 内在评估：词类比任务准确率、词语相似度评分
• 外在评估：在下游任务（文本分类、命名实体识别）中的性能提升

值得注意的是，内在评估优秀的词向量不一定在所有任务中都表现优异。例如，基于GloVe训练的词向量在词类比任务上得分更高，但在短文本分类任务中可能不如Word2Vec。

四、从词向量到上下文表示的演进

4.1 静态词向量的局限性

传统词向量存在两个根本缺陷：

• 一词多义：”bank”在金融语境与河流语境下具有完全不同的含义
• 上下文无关：无法区分”apple”作为公司名与水果名的差异

4.2 上下文表示的技术突破

为解决上述问题，学术界提出两类解决方案：

1. 动态词向量：ELMo通过双向LSTM为每个词语生成上下文相关的向量表示
2. 纯注意力机制：Transformer架构彻底摒弃循环结构，通过自注意力机制捕捉长距离依赖

# 使用HuggingFace Transformers获取上下文词向量
from transformers import AutoTokenizer, AutoModel
import torch
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
inputs = tokenizer("Apple is releasing new products", return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
# 获取每个token的上下文表示
contextual_embeddings = outputs.last_hidden_state  # shape: [batch_size, seq_length, hidden_size]

4.3 预训练模型的工程挑战

部署BERT等大规模预训练模型面临：

• 内存消耗：BERT-base模型参数量达110M，需要至少4GB显存
• 推理延迟：单条文本处理需要200ms以上（GPU环境）
• 量化优化：采用8位整数量化可将模型体积压缩75%，速度提升2-3倍

某金融风控系统的实践显示，通过知识蒸馏将BERT压缩至6层后，在保持92%准确率的同时，推理速度提升5倍。

五、开发者实践建议

5.1 词向量选型指南

• 通用场景：优先使用预训练模型（如中文推荐腾讯AI Lab的W2V）
• 垂直领域：在领域数据上继续训练（医疗领域建议10万条以上专业文本）
• 实时系统：考虑FastText的轻量级方案（模型体积可控制在100MB以内）

5.2 调试与优化技巧

• 维度选择：300维是经验平衡点，低于100维会损失语义，高于500维收益递减
• 迭代策略：采用小批量迭代（batch_size=64-128），初始学习率设为0.025
• 正则化方法：对高频词采用子采样（threshold=1e-4），防止其主导训练

5.3 持续学习路径

建议开发者按照”词向量→RNN→Transformer→预训练模型”的路径进阶，每个阶段重点掌握：

1. 词向量阶段：理解分布式假设与负采样原理
2. RNN阶段：掌握LSTM的门控机制与梯度消失解决方案
3. Transformer阶段：深入自注意力矩阵的计算过程
4. 预训练阶段：理解掩码语言模型与下一句预测的训练目标

本讲内容为NLP学习奠定了坚实的数学与工程基础。下一讲将深入探讨传统机器学习模型在NLP中的应用，包括朴素贝叶斯、SVM等经典算法的实现细节与调优技巧。通过系统学习，开发者将建立起完整的NLP技术栈，为解决实际业务问题做好准备。