趋近智
机器学习微积分入门
章节 1: 机器学习为何需要微积分？
数学在机器学习中的地位
函数介绍：输入与输出
函数的可视化：图
什么是极限？
对极限的直观理解
函数与极限在机器学习中的关联
章节 2: 导数：衡量变化
变化率：平均变化率与瞬时变化率
导数：切线的斜率
导数记法（莱布尼茨和拉格朗日）
导数的计算：幂法则
导数计算：常数与和
高阶导数介绍
练习：计算简单导数
章节 3: 导数优化
寻找最大值和最小值点
优化：为什么最小化或最大化？
机器学习中的代价函数
目标：最小化成本函数
梯度下降简介
导数如何指导梯度下降
梯度下降的可视化
章节 4: 处理多输入：偏导数
多变量函数
偏导数：其思想
计算偏导数
偏导数记法
梯度向量
梯度的几何含义
练习：计算偏导数和梯度
章节 5: 微积分的运用：简单优化
回顾：优化目标与梯度下降
示例：简单线性回归模型
为线性回归定义成本函数
计算成本函数的梯度
执行梯度下降的单次更新
学习率参数
整合：优化过程
实践操作：手动梯度计算
整合：优化过程
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 全面介绍了优化算法，包括梯度下降、其数学原理以及机器学习的实际考虑。
- An Introduction to Statistical Learning with Applications in R, Gareth James, Daniela Witten, Trevor Hastie, Rob Tibshirani, 2013 (Springer) - 涵盖线性回归模型及其拟合所用的基本优化技术，从统计学习的角度阐述了该过程。
- CS229 Lecture Notes: Supervised Learning, Linear Regression, Andrew Ng, 2018 Stanford University CS229 Lecture Notes - 介绍了线性回归并详细解释了梯度下降算法，包括成本函数、偏导数和参数更新，是机器学习基础课程的一部分。
- Numerical Optimization, Jorge Nocedal and Stephen J. Wright, 2006 (Springer) DOI: 10.1007/978-0-387-40065-5 - 严谨地论述了优化算法，包括梯度下降方法的理论基础和实际考虑。