ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习微积分要点
章节 1: 简介:微积分在机器学习中为何重要
机器学习中的函数和模型
机器学习中的优化思想
衡量变化:导数的作用
微积分:理解算法的工具
第 1 章测验
章节 2: 单变量微积分:导数与优化
理解极限:根本原理
导数的定义
常见求导法则
高阶导数
通过导数求极小值和极大值
实际运用:简单成本函数优化
动手实践:使用 Python 计算导数
第 2 章测验
章节 3: 多变量微积分:梯度与方向
多变量函数
偏导数
梯度向量
方向导数
海森矩阵
多变量优化原理
NumPy 梯度计算实践
第 3 章测验
章节 4: 梯度下降算法
梯度下降的直观原理
梯度下降算法的步骤
学习率参数
批梯度下降
随机梯度下降 (SGD)
小批量梯度下降
挑战:局部最小值与鞍点
动手实践:实现简单的梯度下降
第 4 章测验
章节 5: 链式法则与反向传播
回顾单变量链式法则
多变量函数的链式法则
神经网络作为复合函数的介绍
反向传播:链式法则的应用
计算权重和偏置的梯度
计算图
动手实践:手动反向传播示例
第 5 章测验

机器学习中的优化思想

我们来思考一下,训练一个机器学习 (machine learning)模型究竟是什么意思。机器学习模型通常可以表示为数学函数。比如,一个简单的线性回归模型尝试通过函数 f(x)=mx+bf(x) = mx + bf(x)=mx+b 根据输入 xxx 预估输出 yyy。但是,我们如何从训练数据中找出参数 (parameter) mmm(斜率)和 bbb(截距)的最恰当值呢?这就是优化发挥作用之处。

在机器学习中,优化是指为模型寻找一组参数,使其在训练数据上达到尽可能好的表现。但是,“好”是什么意思?我们需要一种方法来评估模型运行的优劣(或者更普遍地说,劣)。这个评估指标通常被称为成本函数或损失函数 (loss function)。

成本函数,常用 JJJ 表示,它接收模型的预测值和训练数据中的真实目标值,然后计算出一个数值,用来衡量总体误差或“成本”。例如,回归问题的一个常用成本函数是均方误差(MSE),它算出预测值与实际值之间平方差的平均数。

如果我们的模型参数由向量 (vector) θ\thetaθ (theta) 表示,那么成本函数 JJJ 会依据这些参数:J(θ)J(\theta)J(θ)。那么,优化的目的是确定特定的参数集合 θ∗\theta^*θ∗,使成本函数最小化:

θ∗=arg⁡min⁡θJ(θ)\theta^* = \arg \min_{\theta} J(\theta)θ∗=argθmin​J(θ)

这个公式表达为:“θ∗\theta^*θ∗ 是使成本函数 J(θ)J(\theta)J(θ) 最小化的自变量(参数取值)θ\thetaθ。”

可以把成本函数想象成一个曲面,曲面上的位置由模型参数的取值决定,而曲面的高度则代表成本。我们的目的是找到这个曲面上的最低点。

设想一个非常简单的情形,我们只有一个参数,称之为 www。成本函数 J(w)J(w)J(w) 可能看起来像一条曲线。优化就是找出这条曲线底部的 www 值。

当参数 www 等于0时,成本 J(w)J(w)J(w) 达到最小值。优化旨在确定这个最低点。

对于拥有大量参数的模型(深度学习 (deep learning)中可达百万),这个“曲面”存在于高维空间 (high-dimensional space),使得可视化变得不可能。我们不能只看图就找出最小值。我们需要一种系统化的算法方法来遍历这个复杂的曲面,并找到最低点,或者至少是一个很低的点。

这正是微积分变得不可或缺之处。正如我们在前一节中简略地提到,导数衡量函数的变化率或斜率。通过计算成本函数相对于模型参数的导数(或其多变量对应物——梯度,我们稍后会介绍),我们可以判明成本增加最快的方向。为了使成本最小化,我们只需朝相反方向移动即可。这种迭代计算方向并迈进的过程,是许多机器学习优化算法的根本,其中最著名的就是梯度下降 (gradient descent)。

本质上,优化衔接了拥有模型结构和拥有一个能在数据上实际运作良好的模型之间的距离。它是推动学习过程的引擎,而微积分提供了构建并理解这个引擎的基本工具。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 涵盖机器学习中使用的基本优化概念和算法,包括深度学习背景下的成本函数和梯度下降。
  • Pattern Recognition and Machine Learning, Christopher M. Bishop, 2006 (Springer) DOI: 10.1007/978-0-387-31073-2 - 介绍模式识别和机器学习的基础概念,详细阐述误差函数和优化在模型参数估计中的作用。
  • An Introduction to Statistical Learning: With Applications in R, Gareth James, Daniela Witten, Trevor Hastie, Rob Tibshirani, 2013 (Springer) DOI: 10.1007/978-1-4614-7138-7 - 对统计学习方法提供了易于理解的介绍,通过线性回归和残差平方和最小化等示例解释优化。(第1版)
  • CS229 Lecture Notes: Supervised Learning, Andrew Ng, 2018 (Stanford University) - 专门涵盖线性回归、成本函数(如MSE),以及作为优化方法的梯度下降的介绍。

© 2026 ApX Machine Learning