ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

学习率

在上一节中,我们介绍了梯度下降 (gradient descent)作为驱动神经网络 (neural network)学习过程的动力。它通过迭代调整模型的权重 (weight)和偏差来使损失函数 (loss function)最小化。但是,每一步我们应该调整权重多少呢?这由一个重要的超参数 (parameter) (hyperparameter)控制:学习率。

可以把梯度下降想象成在山谷中寻找最低点(即损失函数的最小值)。梯度会指明最陡峭的上升方向,因此你需要朝相反的方向下坡。学习率则决定了你下坡时每一步的大小。

从数学角度看,学习率通常用希腊字母 alpha (α\alphaα) 或 eta (η\etaη) 表示,是一个小的正标量值。它在从当前权重中减去梯度之前,先将梯度相乘。单个权重 www 的更新规则如下所示:

wnew=wcurrent−α∂L∂wcurrentw_{new} = w_{current} - \alpha \frac{\partial L}{\partial w_{current}}wnew​=wcurrent​−α∂wcurrent​∂L​

这里,∂L∂wcurrent\frac{\partial L}{\partial w_{current}}∂wcurrent​∂L​ 是损失函数 LLL 对当前权重 wcurrentw_{current}wcurrent​ 的梯度。学习率 α\alphaα 对这个梯度进行缩放。

学习率大小的影响

选择合适的学习率对模型训练的成功很重要。α\alphaα 的值直接影响收敛速度以及算法能否收敛。

  • 学习率过小: 如果 α\alphaα 非常小,权重 (weight)更新将非常微小。算法将以极小的步长下坡。虽然这最终可能会导致一个不错的最小值,但训练过程将极其缓慢,可能需要大量的训练周期(对训练数据的遍历)才能达到收敛。在复杂的损失函数 (loss function)曲面中,它还可能增加陷入较差局部最小值的风险,因为步长不够大,无法跳出小的凹陷。

  • 学习率过大: 如果 α\alphaα 过大,所走的步长可能过大。算法可能完全越过最小值,而不是平稳地下降到最小值。它可能在山谷中来回震荡,无法稳定在最小值附近。在更糟的情况下,步长可能大到每次更新后损失反而 增加,导致算法完全发散。权重可能会变得非常大(NaN 或无穷大),训练过程失败。

学习率影响的可视化

考虑一个简单的抛物线损失函数 (loss function)。下面的图表展示了不同的学习率如何影响梯度下降 (gradient descent)走向最小值的路径。

梯度下降在一个简单损失函数 L=w2L = w^2L=w2 上从 w=5w=5w=5 开始的示例路径。合适的学习率会稳定收敛。小的学习率进展缓慢。大的学习率会越过并震荡,可能导致发散。

寻找合适的平衡

选择一个合适的学习率最初往往更像是一门艺术而非科学,通常需要通过实验确定。常见的起始值通常在 0.1 到 0.0001 的范围内,但最优值很大程度上取决于:

  • 具体的数据集。
  • 模型的架构。
  • 所选的优化器(一些优化器,稍后会讨论,会自动调整学习率)。
  • SGD 中使用的批次大小。

像学习率调度(在训练期间逐步减小学习率)和自适应学习率方法(如 Adam 或 RMSprop,将在第 4 章中介绍)等技术已被开发出来,旨在更有效地管理这个参数 (parameter)。然而,在使用这些更高级的技术之前,理解基础学习率的基本作用很重要。在模型开发过程中,你通常需要调整这个超参数 (hyperparameter),并监控训练损失,以查看其是否以合理的速度稳定下降。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 对神经网络优化提供了全面的学术论述,包含学习率在梯度下降中的作用和影响。
  • Neural Networks and Deep Learning, Michael A. Nielsen, 2015 (Determination Press) - 一本易于理解的在线书籍,解释了神经网络基础,包含梯度下降和学习率重要性的清晰说明。
  • Optimization: Stochastic Gradient Descent, Andrej Karpathy, Justin Johnson, and Li Fei-Fei, 2023 Stanford CS231n Course Notes - 作为一门备受推崇的大学课程的一部分,这些笔记提供了像SGD这样的优化算法的实用直观解释,侧重于学习率。

© 2026 ApX Machine Learning