一、CTR预估模型的技术演进脉络

CTR（Click-Through Rate）预估作为广告推荐系统的核心技术，其模型演进经历了从线性模型到深度学习的三个阶段，每个阶段均通过特征工程与模型结构的创新提升预测精度。

1.1 线性模型阶段（2000-2010）

早期CTR预估以逻辑回归（LR）为核心模型，其公式为：
$<br>\sigma(w^Tx + b) = \frac{1}{1 + e^{-(w^Tx + b)}}<br>$
其中$x$为特征向量，$w$为权重参数。该模型的优势在于计算高效、可解释性强，但依赖人工特征工程。例如，需将用户行为序列转化为统计特征（如”最近7天点击广告次数”）。

典型应用场景：

• 早期搜索引擎广告排序
• 资源受限的移动端设备

局限性：

• 无法自动学习特征交叉关系
• 对稀疏特征处理能力弱

1.2 特征交叉阶段（2010-2015）

为解决线性模型的特征交互问题，工业界提出两类改进方案：

1. 基于FM的隐式交叉：因子分解机（FM）通过隐向量内积实现二阶特征交叉：
   $<br>\hat{y}(x) = w<em>0 + \sum</em>{i=1}^n w<em>i x_i + \sum</em>{i=1}^n \sum_{j=i+1}^n \langle v_i, v_j \rangle x_i x_j<br>$
   其中$v_i$为特征$i$的隐向量，参数规模从$O(n^2)$降至$O(kn)$（$k$为隐向量维度）。

2. 基于GBDT的显式交叉：通过梯度提升树（GBDT）自动选择重要特征组合。例如，某平台使用GBDT对用户画像与广告属性进行组合，生成离散化特征供LR使用。

典型模型对比：
| 模型 | 特征交互方式 | 参数规模 | 训练复杂度 |
|————|——————————|—————|——————|
| LR | 无 | $O(n)$ | $O(nd)$ |
| FM | 二阶隐式交叉 | $O(nk)$ | $O(nk^2)$ |
| GBDT+LR| 多阶显式交叉 | $O(nt)$ | $O(n \log t)$ |

1.3 深度学习阶段（2015-至今）

随着计算资源提升，深度CTR模型成为主流，其演进路径可分为三类：

1.3.1 基础DNN模型

将原始特征嵌入为低维向量后输入多层感知机（MLP），例如：

import tensorflow as tf
from tensorflow.keras.layers import Embedding, Dense, Flatten
# 示例：基础DNN结构
user_embed = Embedding(input_dim=10000, output_dim=16)(user_id)
ad_embed = Embedding(input_dim=5000, output_dim=16)(ad_id)
concat = tf.concat([Flatten()(user_embed), Flatten()(ad_embed)], axis=1)
dnn = Dense(64, activation='relu')(concat)
dnn = Dense(32, activation='relu')(dnn)
output = Dense(1, activation='sigmoid')(dnn)

优势：自动学习非线性特征交互
挑战：对低阶特征交互捕捉不足

1.3.2 特征交叉增强模型

为弥补DNN的交叉能力缺陷，提出两类改进方案：

1. 显式交叉模型：

   • Wide&Deep：Wide部分使用LR处理记忆性特征，Deep部分使用MLP学习泛化特征
   • DeepFM：用FM替代Wide部分，同时学习一阶和二阶特征

2. 隐式交叉模型：

   • DCN（Deep & Cross Network）：通过交叉层实现高阶特征组合

     # DCN交叉层示例
     def cross_layer(x0, x, num_output):
         x0_w = tf.matmul(x0, x0_w_weights)  # x0_w_weights为可训练参数
         x_w = tf.matmul(x, x_w_weights)
         return x0_w * x_w + x_b  # x_b为偏置项

1.3.3 序列建模模型

针对用户行为序列，引入RNN/Transformer结构：

• DIN（Deep Interest Network）：通过注意力机制激活历史行为中与当前广告相关的部分

  # DIN注意力机制示例
  def attention(query, facts, mask=None):
      weights = tf.matmul(query, facts, transpose_b=True)  # 计算query与facts的相似度
      if mask is not None:
          weights += (1 - mask) * -1e9  # 屏蔽无效位置
      weights = tf.nn.softmax(weights)
      return tf.matmul(weights, facts)

• BST（Behavior Sequence Transformer）：用Transformer编码行为序列的时序关系

二、主流模型对比与选型建议

2.1 性能对比

基于公开数据集的实验表明（AUC指标）：
| 模型 | 工业数据集AUC | 训练速度（样本/秒） | 推理延迟（ms） |
|——————|————————|——————————-|————————|
| LR | 0.72 | 1.2M | 0.5 |
| FM | 0.74 | 800K | 0.8 |
| DeepFM | 0.78 | 300K | 1.2 |
| DIN | 0.80 | 150K | 2.5 |

2.2 选型决策树

根据业务场景选择模型时，可参考以下决策路径：

1. 资源受限场景：优先选择FM或轻量级DeepFM
2. 特征交互复杂场景：选择DCN或Deep&Cross
3. 用户行为序列重要场景：选择DIN或BST
4. 实时性要求高场景：避免使用复杂Transformer结构

2.3 工程优化实践

1. 特征处理优化：

   • 使用联合嵌入（Joint Embedding）减少参数规模
   • 对类别特征采用哈希技巧降低维度

2. 模型压缩技术：

   • 知识蒸馏：用Teacher模型指导Student模型训练
   • 量化训练：将FP32权重转为INT8

3. 在线服务优化：

   • 特征缓存：预热常用特征到内存
   • 模型分片：将大模型拆分为多个子模型并行计算

三、未来发展方向

1. 多模态CTR预估：融合图像、文本等多模态特征
2. 实时特征学习：通过在线学习（Online Learning）快速适应数据分布变化
3. 隐私保护计算：在联邦学习框架下实现跨域CTR预估

CTR预估模型的技术演进体现了从人工特征工程到自动化特征学习的转变。当前深度学习模型虽在精度上占据优势，但工程实现时需权衡模型复杂度与系统效率。建议开发者根据业务需求选择基础模型架构，再通过特征工程优化和系统级调优实现最佳效果。对于资源充足的团队，可探索多模态融合与实时学习等前沿方向。