一、引言：参数冻结的背景与显存挑战

在深度学习模型微调中，冻结部分参数是一种常见的优化策略，尤其适用于资源受限场景（如边缘设备、低配GPU）。通过固定模型的部分层（如预训练的Backbone网络），仅对特定层（如分类头）进行训练，可显著降低计算开销。然而，这种策略的显存需求并非简单的线性减少，其背后涉及张量存储、梯度计算、优化器状态等多重因素。

以DeepSeek系列模型为例，其参数规模可达数十亿甚至百亿级别。若直接全参数微调，显存需求可能超过单卡容量（如NVIDIA A100的80GB显存），导致训练中断。而冻结部分参数后，显存占用虽会下降，但具体降幅与冻结策略、模型结构、数据批次等强相关。本文将从底层原理出发，深度解析这一过程中的显存需求变化，并提供可落地的优化方案。

二、参数冻结的显存需求理论解析

1. 基础显存组成：模型参数、梯度与优化器状态

深度学习训练的显存占用主要包含三部分：

• 模型参数：存储权重和偏置的浮点数矩阵。
• 梯度：反向传播时计算的参数梯度，与参数规模相同。
• 优化器状态：如Adam优化器需存储一阶矩（m）和二阶矩（v），显存占用为参数的2倍。

假设模型参数规模为N，使用Adam优化器时，全参数微调的显存需求为：

显存 = N (参数) + N (梯度) + 2N (优化器状态) = 4N

2. 冻结参数后的显存变化

当冻结部分参数（如Backbone）时，其梯度和优化器状态无需计算和存储，显存需求变为：

显存 = N_frozen (冻结参数) + N_trainable (可训练参数) + N_trainable (梯度) + 2N_trainable (优化器状态)
     = N_frozen + 3N_trainable

关键结论：显存节省量取决于N_frozen与N_trainable的比例。例如，若Backbone占80%参数，则显存可减少约60%（从4N降至0.8N + 3*0.2N = 1.4N）。

3. 激活值与中间结果的显存开销

除参数相关显存外，前向传播的中间结果（如特征图）也会占用显存。冻结部分参数后，若可训练层位于模型末端（如分类头），中间结果的显存需求可能不变；若可训练层分散在模型中（如多头注意力微调），则中间结果的显存占用会动态变化。

三、DeepSeek模型中的冻结策略与显存优化

1. 典型冻结场景与显存需求

以DeepSeek-6B为例，假设其结构分为：

• Backbone：5.8B参数（Transformer层）
• Head：0.2B参数（分类/生成头）

场景1：冻结Backbone，仅训练Head
显存需求：

参数：5.8B (冻结) + 0.2B (可训练) = 6.0B  
梯度：0.2B  
优化器状态：0.4B  
总显存：5.8B + 0.2B + 0.2B + 0.4B = 6.6B

相比全参数微调（4*6B=24B），显存节省72.5%。

场景2：微调部分Backbone层（如最后4层）
假设可训练参数为0.8B，则显存需求：

参数：5.2B (冻结) + 0.8B (可训练) = 6.0B  
梯度：0.8B  
优化器状态：1.6B  
总显存：5.2B + 0.8B + 0.8B + 1.6B = 8.4B

显存节省65%，但可能提升模型性能（因部分Backbone适应新任务）。

2. 显存优化的高级策略

（1）梯度检查点（Gradient Checkpointing）

通过牺牲计算时间换取显存，将中间结果的存储从O(n)降至O(√n)。适用于冻结部分参数后的长序列模型（如DeepSeek-R1的128K上下文）。

（2）混合精度训练

使用FP16/BF16替代FP32，参数和梯度的显存占用减半。需注意：

• 冻结参数仍可保持FP32精度以避免数值不稳定。
• 可训练参数需启用动态缩放（Dynamic Scaling）防止梯度下溢。

（3）ZeRO优化器

将优化器状态分片到多卡，结合参数冻结可进一步降低单卡显存。例如，ZeRO-3可将优化器状态显存从2N_trainable降至2N_trainable/GPU数。

四、实践建议与案例分析

1. 冻结策略选择指南

• 资源极度受限：冻结90%以上参数，仅训练分类头或适配器（Adapter）。
• 任务适配需求高：微调最后几层Transformer，平衡显存与性能。
• 长序列模型：结合梯度检查点，优先冻结早期注意力层。

2. 案例：DeepSeek-6B在A100 40GB上的微调

目标：在40GB显存下微调DeepSeek-6B，支持batch size=8。

方案：

1. 冻结Backbone（5.8B参数），仅训练Head（0.2B参数）。
2. 启用混合精度（FP16参数，FP32优化器）。
3. 使用梯度检查点减少中间结果显存。

显存计算：

参数：5.8B (FP32冻结) + 0.2B (FP16可训练) = 5.8B + 0.1B = 5.9B  
梯度：0.2B (FP16) = 0.1B  
优化器状态：0.4B (FP32)  
中间结果（梯度检查点后）：约2B  
总显存：5.9B + 0.1B + 0.4B + 2B = 8.4B

实际占用约10GB（含系统开销），batch size=8时总显存需求为8.4B*8=67.2B（FP16单位），远低于40GB限制。

五、总结与展望

冻结部分参数微调是平衡显存与性能的有效手段，其显存需求取决于冻结比例、优化器选择和中间结果管理。对于DeepSeek等大规模模型，建议：

1. 优先冻结底层通用特征提取层，微调高层任务相关层。
2. 结合梯度检查点、混合精度和ZeRO优化器进一步降低显存。
3. 通过实验确定最佳冻结比例（如从20%开始逐步增加）。

未来，随着模型架构创新（如MoE、稀疏激活）和硬件进步（如HBM4），参数冻结策略的显存优化空间将进一步扩大，为低资源场景下的高效微调提供更多可能。