一、词向量：自然语言处理的数字化起点

词向量（Word Vector）是将离散的文本符号映射为连续数值向量的技术，其核心目标是为每个单词构建一个低维实数向量，使得语义相近的词在向量空间中距离更近。这种表示方式突破了传统独热编码（One-Hot Encoding）的局限性——后者虽能唯一标识每个词，但无法捕捉词间语义关系，且在高维稀疏空间中计算效率低下。

1.1 词向量的数学本质

词向量本质上是分布式假设（Distributional Hypothesis）的数学实现，即”上下文相似的词具有相似语义”。以经典的Word2Vec模型为例，其通过滑动窗口统计上下文共现关系，将每个词表示为固定维度的浮点数向量。例如，向量维度通常设为50-300维，每个维度隐式编码某种语义特征（如语法角色、情感倾向等）。

1.2 传统方法的局限性

早期词向量生成方法（如TF-IDF、LSA）存在显著缺陷：

• TF-IDF：仅考虑词频与逆文档频率，忽略词序和上下文
• LSA（潜在语义分析）：通过矩阵分解获取低维表示，但计算复杂度随语料规模指数增长
• 无法处理多义词：同一词在不同上下文中可能具有不同含义，但传统方法生成静态向量

二、词嵌入：动态语义建模的突破

词嵌入（Word Embedding）是词向量的进化形态，强调通过神经网络模型动态学习词与上下文之间的复杂关系。其核心创新在于将词向量作为模型参数进行优化，而非通过统计方法直接计算。

2.1 神经网络词嵌入模型

2.1.1 Word2Vec详解

Word2Vec包含两种架构：

• CBOW（Continuous Bag-of-Words）：用上下文词预测中心词
• Skip-Gram：用中心词预测上下文词

以Skip-Gram为例，其目标函数为最大化对数似然：

# 伪代码示例：Skip-Gram目标函数
def skip_gram_loss(center_word, context_words, embeddings):
    loss = 0
    for context_word in context_words:
        # 向量点积衡量相似度
        dot_product = np.dot(embeddings[center_word], embeddings[context_word])
        # 交叉熵损失
        loss += -np.log(sigmoid(dot_product))
    return loss

通过反向传播优化嵌入矩阵，使得相关词向量在空间中靠近。

2.1.2 GloVe：全局向量表示

GloVe结合矩阵分解与局部上下文窗口的优点，通过最小化以下损失函数学习词向量：
[ J = \sum{i,j=1}^V f(X{ij}) (wi^T \tilde{w}_j + b_i + \tilde{b}_j - \log X{ij})^2 ]
其中(X_{ij})为词i与词j的共现次数，(f)为权重函数。

2.2 预训练词嵌入的优势

现代NLP系统普遍采用预训练词嵌入（如Google News Word2Vec、GloVe维基百科向量），其优势包括：

• 语义丰富性：在大规模语料上学习通用语义表示
• 计算效率：避免在每个下游任务中重新训练
• 零样本能力：对未登录词可通过相似词插值处理

三、词嵌入的工程实现与优化

3.1 模型选择指南

模型	适用场景	训练速度	内存占用
Word2Vec	中等规模语料，通用语义需求	快	低
GloVe	大规模语料，全局统计特征	中等	高
FastText	包含子词信息的场景（如OOV）	快	中等

3.2 维度选择策略

词向量维度需平衡表达能力与计算效率：

• 低维（<50）：易出现过拟合，语义区分度不足
• 中维（100-300）：通用任务最优选择
• 高维（>500）：仅在需要捕捉极细粒度语义时使用

3.3 动态词嵌入的演进

传统词嵌入存在”一词一矢”的静态问题，动态词嵌入通过以下方法解决：

• 上下文相关嵌入：如ELMo使用双向LSTM生成上下文感知向量
• Transformer架构：BERT通过自注意力机制实现深度上下文化
• 领域适配：在特定领域语料上微调预训练嵌入

四、典型应用场景与代码实践

4.1 文本分类任务

from gensim.models import KeyedVectors
import numpy as np
# 加载预训练词向量
model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
def get_document_vector(text, model, dim=300):
    words = text.lower().split()
    vec = np.zeros(dim)
    count = 0
    for word in words:
        if word in model:
            vec += model[word]
            count += 1
    return vec / count if count > 0 else vec
# 示例：计算两个句子的相似度
sentence1 = "The cat sits on the mat"
sentence2 = "A kitten lies on the rug"
vec1 = get_document_vector(sentence1, model)
vec2 = get_document_vector(sentence2, model)
similarity = np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

4.2 语义搜索系统

通过词嵌入实现语义匹配而非关键词匹配：

from sklearn.metrics.pairwise import cosine_similarity
def semantic_search(query, documents, model):
    query_vec = get_document_vector(query, model)
    doc_vecs = [get_document_vector(doc, model) for doc in documents]
    scores = cosine_similarity([query_vec], doc_vecs)[0]
    return sorted(zip(documents, scores), key=lambda x: -x[1])

4.3 跨语言词嵌入

通过对齐不同语言的词嵌入空间实现零资源翻译：

# 伪代码：基于线性变换的跨语言对齐
def align_embeddings(src_emb, tgt_emb, word_pairs):
    # 构建对齐矩阵
    A = np.zeros((src_emb.shape[1], tgt_emb.shape[1]))
    for src_word, tgt_word in word_pairs:
        A += np.outer(src_emb[src_word], tgt_emb[tgt_word])
    # 正交化变换矩阵
    U, _, Vt = np.linalg.svd(A)
    W = U.dot(Vt)
    # 应用变换
    aligned_src = src_emb.dot(W)
    return aligned_src

五、未来趋势与挑战

1. 多模态词嵌入：融合文本、图像、音频的跨模态表示
2. 低资源语言支持：通过元学习提升小语种嵌入质量
3. 可解释性研究：可视化词向量维度与语义的关联
4. 隐私保护嵌入：在联邦学习框架下训练分布式词向量

词嵌入与词向量技术已从单纯的文本表示工具，演变为支撑现代NLP系统的基石。开发者需根据具体场景选择合适的模型与维度，并关注动态嵌入、跨模态融合等前沿方向，以构建更智能的语言处理系统。