一、文本表示：NLP的基石问题

文本表示是自然语言处理（NLP）的核心任务之一，其本质是将非结构化的文本数据转化为计算机可处理的数值形式。这一过程直接影响后续任务的性能，包括文本分类、信息检索、机器翻译等。早期的文本表示方法以统计特征为主，随着深度学习的发展，分布式表示逐渐成为主流。

1.1 文本表示的挑战

文本数据的特殊性决定了其表示的复杂性：

• 高维稀疏性：词汇表规模可达数十万，单个文档仅使用其中极小部分词汇。
• 语义缺失：传统方法难以捕捉词汇间的语义关联（如同义词、反义词）。
• 上下文无关：静态表示无法反映词汇在不同语境下的语义变化。

二、词袋模型：从0到1的突破

词袋模型（Bag of Words, BoW）是NLP文本表示的起点，其核心思想是将文本视为词汇的集合，忽略语法和词序。

2.1 基本原理

1. 词汇表构建：统计语料库中所有唯一词汇，形成词汇表。
2. 向量编码：每个文本表示为词汇表维度的向量，向量值为词汇在文本中的出现次数（或TF-IDF权重）。

from sklearn.feature_extraction.text import CountVectorizer
corpus = ["This is a sentence.", "Another example sentence."]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())  # 输出词汇表
print(X.toarray())  # 输出词频矩阵

2.2 局限性分析

• 维度灾难：词汇表规模大时，向量维度极高（如10万维）。
• 语义盲区：无法区分”good”和”excellent”的语义差异。
• 数据稀疏：大多数元素为0，计算效率低下。

2.3 改进方向

• N-gram模型：考虑局部词序（如Bigram、Trigram），但维度进一步增加。
• TF-IDF加权：通过逆文档频率降低常见词的权重，突出重要词汇。

三、Word2Vec：分布式表示的革命

Word2Vec（Word to Vector）由Mikolov等人于2013年提出，通过神经网络学习词汇的分布式表示，彻底改变了文本表示的范式。

3.1 核心思想

• 分布式假设：语义相似的词倾向于出现在相似的上下文中。
• 低维稠密：将每个词映射为固定维度的实数向量（如300维），向量距离反映语义相似度。

3.2 模型架构

Word2Vec包含两种训练模式：

1. CBOW（Continuous Bag of Words）：通过上下文预测中心词。
   • 输入：上下文词汇的one-hot编码。
   • 输出：中心词的概率分布。
2. Skip-gram：通过中心词预测上下文。
   • 输入：中心词的one-hot编码。
   • 输出：上下文词汇的概率分布。

from gensim.models import Word2Vec
sentences = [["This", "is", "a", "sentence"], 
             ["Another", "example", "sentence"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
print(model.wv["sentence"])  # 输出"sentence"的向量表示
print(model.wv.most_similar("sentence"))  # 输出相似词

3.3 技术优势

• 语义捕捉：向量运算可反映语义关系（如king - man + woman ≈ queen）。
• 降维效果：300维向量即可表达丰富语义，计算效率显著提升。
• 泛化能力：在未见过的文本中也能生成合理的词向量。

3.4 实践挑战

• 语料质量：需要大规模、领域匹配的语料库。
• 超参数调优：向量维度、窗口大小、迭代次数等影响最终效果。
• OOV问题：未登录词（Out-of-Vocabulary）无法表示。

四、从词袋到Word2Vec的演进逻辑

4.1 范式转变

维度	词袋模型	Word2Vec
表示形式	高维稀疏	低维稠密
语义能力	仅统计共现	捕捉语义关联
计算效率	低（稀疏矩阵运算）	高（稠密向量运算）
应用场景	简单分类任务	复杂语义任务（如问答系统）

4.2 性能对比

在文本分类任务中，Word2Vec相比词袋模型可提升：

• 准确率：10%-20%（依赖任务和数据集）
• 训练速度：3-5倍（稠密向量计算更高效）
• 泛化能力：显著优于词袋模型，尤其在少量标注数据场景下。

五、实践建议与进阶方向

5.1 模型选择指南

• 简单任务（如情感分析）：词袋模型+TF-IDF足够。
• 语义任务（如相似度计算、问答系统）：优先选择Word2Vec或其变体。
• 资源受限场景：考虑预训练词向量（如Google News的300维向量）。

5.2 优化策略

• 语料预处理：去停用词、词干提取、拼写纠正。
• 负采样：加速Skip-gram训练，提升低频词表示质量。
• 层次Softmax：减少输出层计算量，适用于大规模词汇表。

5.3 进阶方向

• GloVe模型：结合全局统计信息和局部上下文窗口。
• FastText：引入子词信息，解决OOV问题。
• BERT等预训练模型：通过上下文感知的动态词向量，进一步提升表示能力。

六、未来展望

随着NLP技术的发展，文本表示正朝着以下方向演进：

1. 多模态表示：融合文本、图像、音频的联合表示。
2. 动态表示：根据上下文实时调整词向量（如ELMo、BERT）。
3. 少样本学习：通过元学习降低对大规模标注数据的依赖。

从词袋模型到Word2Vec的跨越，标志着NLP从统计驱动向学习驱动的范式转变。理解这一演进路径，不仅有助于选择合适的工具，更能为后续研究提供方法论启示。对于开发者而言，掌握这两种技术及其适用场景，是构建高效NLP系统的关键第一步。