Quartz 4

梯度爆炸和消失

5 min read

梯度消失（Gradient Vanishing）和梯度爆炸（Gradient Explosion）是深度学习训练中的两大挑战，二者均与梯度在反向传播中的异常行为相关。以下是两者的共同原因、特有原因及解决策略的对比分析：

一、共同原因

1. 激活函数选择不当

  • 梯度爆炸：

    • 原因：激活函数导数在某些区域过大（如未分段的指数函数、线性激活函数）。
    • 示例：LSTM的门控单元若使用未受限的指数函数，导数可能呈指数增长。

  • 梯度消失：

    • 原因：激活函数导数在某些区域趋近于零（如Sigmoid/Tanh的饱和区、ReLU的负半轴）。
    • 示例：Sigmoid在时导数接近零，ReLU的负值区域导数为零。

  • 解决方法：

    • 梯度爆炸：使用ReLU或其变种（如Leaky ReLU）。
    • 梯度消失：避免Sigmoid/Tanh，改用ReLU或Swish。

2. 权重初始化不当

  • 梯度爆炸：

    • 原因：权重初始化过大，导致激活值进入导数过大的区域。

  • 梯度消失：

    • 原因：权重初始化过小或全零，导致梯度在传播中快速衰减。

  • 解决方法：

    • 使用He初始化（适合ReLU）或Xavier初始化（适合Sigmoid/Tanh）。

3. 网络深度过深

  • 梯度爆炸：

    • 原因：梯度逐层相乘，若多个层的梯度>1，则总梯度呈指数增长。

  • 梯度消失：

    • 原因：若多个层的梯度<1，则总梯度呈指数衰减。

  • 解决方法：

    • 减少网络深度，或引入残差连接（如ResNet）、批归一化（BatchNorm）。

4. 循环神经网络（RNN）的时间步过长

  • 梯度爆炸：

    • 原因：权重矩阵特征值>1，梯度随时间步呈指数增长。

  • 梯度消失：

    • 原因：权重矩阵特征值<1，梯度随时间步呈指数衰减。

  • 解决方法：

    • 使用LSTM/GRU、截断反向传播（Truncated BPTT）。

5. 数据问题

  • 梯度爆炸：

    • 原因：输入数据方差过大或存在异常值，导致激活值异常。

  • 梯度消失：

    • 原因：输入数据方差过小或均值偏移，导致激活值处于导数极小区域。

  • 解决方法：对数据进行标准化或归一化处理。

6. 学习率设置不当

  • 梯度爆炸：

    • 原因：过大的学习率使权重更新步长过大，加剧梯度异常。

  • 梯度消失：

    • 原因：过小的学习率导致即使存在梯度，权重更新也几乎停滞。

  • 解决方法： 调整学习率或使用自适应优化器（如Adam）。

6. 模型结构设计缺陷

  • 梯度爆炸：

    • 原因：全连接层过多、未使用归一化层导致梯度累积。

  • 梯度消失：

    • 原因：未使用残差连接或归一化层，导致梯度衰减。

  • 解决方法：引入残差连接、归一化层（如BatchNorm、LayerNorm）。

二、总结与解决策略

共同解决策略

  1. 激活函数：

    • 避免Sigmoid/Tanh的饱和区，优先选择ReLU及其变种。

  2. 初始化：

    • 使用He/Xavier初始化，避免权重过大或过小。

  3. 网络结构：

    • 减少深度，引入残差连接（如ResNet）或归一化层。

  4. 数据处理：

    • 对输入数据进行标准化或归一化。

针对性策略

  • 梯度爆炸：

    • 梯度裁剪（限制梯度范数）、合理设置学习率。
    • 在RNN中使用LSTM/GRU。

  • 梯度消失：

    • 避免全零初始化，改用ReLU的变种（如Leaky ReLU）。
    • 使用自适应优化器（如Adam）调整学习率。

Graph View