一、为什么CVer需要学习NLP？

计算机视觉（CV）与自然语言处理（NLP）作为AI两大核心领域，正经历深度融合。CV任务如图像描述生成（Image Captioning）、视觉问答（VQA）均依赖NLP技术实现文本生成与理解。对于CV开发者而言，掌握NLP基础能：

1. 拓展技术边界：构建多模态AI系统（如CLIP模型）
2. 提升工程能力：理解文本预处理、特征提取等通用流程
3. 增强职业竞争力：在智能安防、医疗影像等交叉领域获得优势

本系列文章从词向量与RNN模型切入，这两个技术点构成了NLP的基石，也是理解Transformer等现代架构的前提。

二、词向量：将语言转化为数学表示

1. 传统表示方法的局限性

One-Hot编码是最基础的文本表示方式，例如：

import numpy as np
word_to_idx = {"hello": 0, "world": 1}
hello_vec = np.zeros(len(word_to_idx))
hello_vec[word_to_idx["hello"]] = 1
# 输出: [1., 0.]

存在问题：

• 维度灾难：词汇量10万时需10万维向量
• 语义缺失：无法体现”king”与”queen”的关联性
• 稀疏性问题：99%以上元素为0

2. 分布式表示的突破

Word2Vec通过上下文预测实现低维稠密表示，包含两种架构：

• CBOW：用周围词预测中心词
• Skip-gram：用中心词预测周围词

以Skip-gram为例，训练过程可分解为：

1. 构建共现矩阵（窗口大小=2）
2. 通过神经网络学习权重矩阵
3. 提取隐藏层作为词向量

GloVe则结合全局统计信息，通过最小化共现矩阵与词向量点积的差异进行优化：
$J = \sum<em>{i,j=1}^V f(X</em>{ij}) (w<em>i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X</em>{ij})^2$
其中$X_{ij}$表示词i与词j的共现次数。

3. 预训练词向量实战

使用Gensim库加载预训练模型：

from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
print(model.similarity('woman', 'king') - model.similarity('man', 'king'))  # 性别偏差分析

实际应用建议：

• 领域适配：医疗文本需重新训练
• 维度选择：300维是常用平衡点
• 多语言处理：考虑FastText子词模型

三、RNN模型：处理序列数据的利器

1. 传统神经网络的序列缺陷

全连接网络处理”I love NLP”时：

• 输入维度固定（如3词×300维）
• 无法建模”love”与”NLP”的时序关系
• 参数随序列长度指数增长

2. RNN的核心创新

循环结构通过隐藏状态传递信息：
$h<em>t = \sigma(W</em>{hh}h<em>{t-1} + W</em>{xh}x<em>t + b_h) </em>$
$y_t = \sigma(W${hy}h_t + b_y)
关键特性：

• 参数共享：所有时间步共用$W{hh}, W{xh}, W_{hy}$
• 长期依赖问题：梯度消失/爆炸（后续LSTM改进）
• 变长输入处理：天然支持不同长度序列

3. PyTorch实现示例

import torch
import torch.nn as nn
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)
    def forward(self, x):
        # x: [batch_size, seq_len, input_size]
        out, _ = self.rnn(x)  # out: [batch, seq_len, hidden_size]
        out = self.fc(out[:, -1, :])  # 取最后一个时间步
        return out
model = SimpleRNN(input_size=100, hidden_size=64, output_size=10)
input_tensor = torch.randn(32, 5, 100)  # batch_size=32, seq_len=5
output = model(input_tensor)
print(output.shape)  # [32, 10]

4. 梯度问题与变体

梯度消失现象：

• 通过链式法则，长序列的梯度会指数衰减
• 解决方案：LSTM（输入门、遗忘门、输出门）、GRU（简化版）

双向RNN改进：

• 同时处理正向和反向序列
• 适合需要上下文的任务（如命名实体识别）

四、从理论到实践：文本分类案例

1. 数据预处理流程

from sklearn.feature_extraction.text import CountVectorizer
from keras.preprocessing.sequence import pad_sequences
texts = ["This is good", "That is bad"]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts).toarray()  # 传统词袋表示
# 使用预训练词向量
word_vectors = ...  # 加载预训练模型
sequences = [[word_to_idx[word] for word in text.split()] for text in texts]
padded_sequences = pad_sequences(sequences, maxlen=10, padding='post')

2. 模型构建与训练

from keras.models import Sequential
from keras.layers import Embedding, SimpleRNN, Dense
model = Sequential([
    Embedding(input_dim=vocab_size, output_dim=300, weights=[embedding_matrix], trainable=False),
    SimpleRNN(64, return_sequences=False),
    Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=10, batch_size=32)

3. 性能优化技巧

• 梯度裁剪：防止RNN梯度爆炸

  torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

• 学习率调度：使用ReduceLROnPlateau
• 早停机制：监控验证集损失

五、进阶方向与资源推荐

1. 词向量扩展：

   • 上下文相关词向量（ELMo、BERT）
   • 多语言词向量（MUSE）

2. RNN变体研究：

   • 深度RNN（多层堆叠）
   • 注意力机制（Transformer前奏）

3. 实践项目建议：

   • 实现基于RNN的聊天机器人
   • 构建情感分析API服务

4. 学习资源：

   • 书籍：《Speech and Language Processing》
   • 课程：Stanford CS224N
   • 论文：Word2Vec原始论文、LSTM原始论文

本系列后续文章将深入讲解Transformer架构、预训练语言模型等前沿技术。对于CV开发者而言，掌握这些NLP基础不仅能拓宽技术视野，更能为未来研究多模态学习、跨模态检索等方向奠定坚实基础。建议从词向量可视化、RNN文本生成等小项目入手，逐步构建完整知识体系。