小小知识

在深度学习和机器学习的模型训练过程中，优化算法起着关键作用。

Adam（Adaptive Moment Estimation）优化器是目前最受欢迎和广泛使用的优化算法之一。它结合了动量优化器和 RMSProp 的优势，能够在训练过程中自适应地调整学习率，实现高效和稳健的梯度更新。

下面，我们将详细介绍 Adam 优化器的原理、数学公式，以及 Python 代码实现。

背景与动机

在深度学习中，我们需要通过优化算法最小化损失函数，以找到模型参数的最佳值。传统的优化算法，如随机梯度下降（SGD）和动量优化器，在一些情况下可能会遇到以下问题：

  • 学习率选择困难：固定的全局学习率可能导致收敛速度慢或陷入局部最小值。
  • 梯度稀疏或噪声干扰：在高维参数空间中，梯度可能稀疏且受噪声影响，影响优化效果。
  • 不适应非平稳目标：模型训练过程中，数据分布可能发生变化，需要优化算法能够适应非平稳目标。

为了解决上述问题，Adam 优化器应运而生。它结合了动量优化器对梯度一阶矩的累积和 RMSProp 对梯度二阶矩的累积，实现了对学习率的自适应调整。

数学公式

Adam 优化器的更新规则如下：

  1. 一阶矩估计（动量项）

    mt=β1mt−1+(1−β1)∇θtJ(θt)m_t = \beta_1 m_{t-1} + (1 - \beta_1) \nabla_{\theta_t} J(\theta_t)

  2. 二阶矩估计（RMSProp 部分）

    vt=β2vt−1+(1−β2)[∇θtJ(θt)]2v_t = \beta_2 v_{t-1} + (1 - \beta_2) [\nabla_{\theta_t} J(\theta_t)]^2

  3. 偏差校正

    为了纠正 mtm_t 和 vtv_t 在初始阶段偏向于零的现象，进行偏差校正：

    • 一阶矩偏差校正：

      m^t=mt1−β1t\hat{m}_t = \frac{m_t}{1 - \beta_1^t}

    • 二阶矩偏差校正：

      v^t=vt1−β2t\hat{v}_t = \frac{v_t}{1 - \beta_2^t}

  4. 参数更新

    θt+1=θt−ηv^t+ϵm^t\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t

其中：

  • θt\theta_t：第 tt 次迭代的参数向量。
  • ∇θtJ(θt)\nabla_{\theta_t} J(\theta_t)：损失函数 JJ 关于参数 θt\theta_t 的梯度。
  • mtm_t：梯度的一阶矩估计（动量）。
  • vtv_t：梯度的二阶矩估计（平方梯度的指数加权平均）。
  • β1\beta_1、β2\beta_2：一阶和二阶矩估计的指数衰减率超参数，通常取值为 β1=0.9\beta_1 = 0.9，β2=0.999\beta_2 = 0.999。
  • η\eta：初始学习率（通常取值为 0.001）。
  • ϵ\epsilon：微小常数（如 10−810^{-8}）防止除以零。
  • tt：当前迭代次数。

原理解析

Adam 优化器的核心思想是对梯度的一阶矩（均值）和二阶矩（方差）进行指数加权移动平均，以此来动态调整学习率。

  1. 一阶矩估计 mtm_t

    • 类似于动量优化器的动量项，累积了过去梯度的均值，平滑了梯度更新方向。
    • 指数加权平均通过 β1\beta_1 控制，β1\beta_1 越接近 1，对历史梯度的记忆越长。

  2. 二阶矩估计 vtv_t

    • 类似于 RMSProp 中对梯度平方的指数加权平均，反映了梯度的方差。
    • 通过对梯度平方的累积，可以适应梯度的变化范围，调整学习率。

  3. 偏差校正

    • 在初始阶段，m0m_0 和 v0v_0 被初始化为零，可能导致估计值偏小。
    • 通过除以 1−β1t1 - \beta_1^t 和 1−β2t1 - \beta_2^t 对估计值进行校正，获得无偏估计。

  4. 参数更新

    • 参数更新步长中，m^t\hat{m}_t 是对梯度的校正一阶矩估计，v^t+ϵ\sqrt{\hat{v}_t} + \epsilon 是对梯度方差的校正估计。
    • 这样，学习率根据梯度的历史信息自适应调整，实现了参数的有效更新。

超参数的选择与含义

  • 学习率 η\eta

    • 默认值为 0.001。
    • Adam 对学习率相对不敏感，但在某些情况下需要调节。

  • 一阶矩衰减率 β1\beta_1

    • 通常设置为 0.9。
    • 控制一阶矩估计的移动平均，β1\beta_1 越大，对历史梯度的记忆越长。

  • 二阶矩衰减率 β2\beta_2

    • 通常设置为 0.999。
    • 控制二阶矩估计的移动平均，β2\beta_2 越大，对历史梯度平方的记忆越长。

  • ϵ\epsilon

    • 防止除以零的数值稳定性常数，通常取值为 10−810^{-8}。
    • 对结果影响不大，无需调整。

注意： 在实际应用中，默认超参数已经在很多任务上表现良好，通常无需调整。

Python 代码实现

以下是 Adam 优化器的简单 Python 实现：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import numpy as np

# 参数初始化
theta = np.zeros((n_parameters,))
m = np.zeros_like(theta)  # 一阶矩估计
v = np.zeros_like(theta)  # 二阶矩估计

# 超参数设置
eta = 0.001       # 学习率
beta_1 = 0.9      # 一阶矩衰减率
beta_2 = 0.999    # 二阶矩衰减率
epsilon = 1e-8    # 防止除以零的常数
num_iterations = 1000

for t in range(1, num_iterations + 1):
    grad = compute_gradient(theta)  # 计算梯度

    # 更新一阶矩估计
    m = beta_1 * m + (1 - beta_1) * grad

    # 更新二阶矩估计
    v = beta_2 * v + (1 - beta_2) * (grad ** 2)

    # 计算偏差校正
    m_hat = m / (1 - beta_1 ** t)
    v_hat = v / (1 - beta_2 ** t)

    # 更新参数
    theta = theta - (eta / (np.sqrt(v_hat) + epsilon)) * m_hat

在上述代码中：

  • compute_gradient(theta) 用于计算当前参数 theta 下的梯度。
  • 使用了偏差校正的 m^t\hat{m}_t 和 v^t\hat{v}_t，提高了优化器在初始阶段的性能。
  • 参数更新中，学习率被梯度的二阶矩估计 v^t\sqrt{\hat{v}_t} 自适应调整。

与其他优化器的比较

优化算法 特点 适用场景
SGD 简单易实现，可能收敛慢且容易陷入局部最小值 小型数据集和凸优化问题
动量优化器 引入动量项，加速收敛，减少振荡 有鞍点或深谷的优化问题
Adagrad 自适应学习率，适合处理稀疏数据，学习率会持续衰减 稀疏特征、高维特征
Adadelta 解决 Adagrad 学习率衰减问题，无需设置全局学习率 需要自适应学习率且不愿调参的情况
RMSProp 对梯度平方的指数加权平均，稳定学习率，适应非平稳目标 训练过程中有噪声或非平稳数据
Adam 结合动量和 RMSProp 的优势，自适应学习率，兼顾一阶和二阶矩估计，偏差校正提高稳定性 大多数深度学习任务，默认首选优化器

Adam 优化器的优势：

  • 自适应学习率：根据梯度的一阶和二阶矩动态调整学习率，无需手动调节。
  • 快速收敛：能够在复杂的优化空间中快速逼近最优值。
  • 鲁棒性强：对超参数不敏感，具有良好的数值稳定性。

实践中的注意事项

  1. 参数初始化

    • 建议对参数进行合适的初始化，如 Xavier 或 He 初始化，增强训练效果。

  2. 梯度裁剪

    • 对于存在梯度爆炸的情况，可以考虑进行梯度裁剪（Gradient Clipping），防止梯度过大影响训练。

  3. 学习率调整

    • 虽然 Adam 对学习率不敏感，但在某些特定任务中，适当调整学习率仍然有助于提升性能。

  4. 正则化

    • 可以结合权重衰减（L2 正则化）或 Dropout 等方法，防止过拟合。

  5. 偶尔出现的不稳定性

    • 在个别情况下，Adam 可能在收敛后期表现出震荡或不稳定。可以考虑降低学习率或切换到 SGD 进行微调。

Adam 的变种

Adamax

  • 原理：Adamax 是 Adam 的变体，基于无穷范数（infinity norm），在某些情况下表现更好。

  • 更新规则：

    vt=max⁡(β2vt−1,∣∇θtJ(θt)∣)v_t = \max (\beta_2 v_{t-1}, |\nabla_{\theta_t} J(\theta_t)|)

  • 参数更新：

    θt+1=θt−ηvtmt\theta_{t+1} = \theta_t - \frac{\eta}{v_t} m_t

NAdam

  • 原理：结合了 Nesterov加速梯度和 Adam优化器的思想，进一步加速收敛。
  • 特点：对一阶矩估计进行了 Nesterov动量的调整。

结论

Adam优化器作为一种强大而有效的优化算法，已经成为深度学习训练的默认选择。它通过对梯度的一阶和二阶矩进行自适应估计，动态调整学习率，实现了快速而稳健的收敛。

在实际应用中，Adam 优化器具有以下优点：

  • 易用性：对超参数不敏感，默认设置即可获得良好效果。
  • 泛用性：适用于大多数神经网络结构和任务。
  • 高效性：能够处理大规模和高维数据，具有较高的计算效率。

然而，也需要注意以下事项：

  • 过拟合风险：由于具有快速收敛能力，可能在训练数据上过拟合，需要配合正则化方法。
  • 理论研究：关于 Adam 的收敛性和泛化能力的理论研究仍在进行中，某些情况下可能需要结合其他优化策略。