趋近智
机器学习高级优化技术
章节 1: 机器学习优化的根本原则
重温梯度下降变体
凸性的作用
理解损失曲面
收敛性分析基本原理
非凸优化中的挑战
数值稳定性考量
实践：分析收敛行为
章节 2: 二阶优化方法
牛顿法：理论与推导
海森矩阵：计算与性质
牛顿法的难点
拟牛顿法：近似Hessian矩阵
BFGS算法详解
有限内存BFGS (L-BFGS)
信赖域方法
动手实践：L-BFGS 的实现
章节 3: 自适应学习率算法
固定学习率的局限性
AdaGrad：根据过往梯度调整学习率
RMSprop：处理AdaGrad学习率递减的问题
Adam：结合动量与RMSprop
Adamax 和 Nadam 变体
AMSGrad：提升 Adam 的收敛性
了解学习率调整策略
实践操作：比较自适应优化器
章节 4: 大规模数据集的优化
随机梯度下降再讨论：方差减小
随机平均梯度 (SAG)
随机方差缩减梯度 (SVRG)
小批量梯度下降的权衡
异步随机梯度下降
数据并行策略
SVRG 的动手实现
章节 5: 分布式优化策略
分布式训练的动机
参数服务器架构
同步更新与异步更新
通信瓶颈与应对策略
All-Reduce 算法
联邦学习优化原理
实践操作：模拟分布式SGD
章节 6: 深度学习中的优化难题
深度学习损失曲面的特点
网络架构对优化的影响
规范化方法与优化
梯度裁剪与梯度爆炸/消失
初始化方法及其影响
正则化方法：优化过程的隐性作用
实践：深度网络优化器调优
章节 7: 高级与专项优化专题
受限优化基本原理
拉格朗日对偶性与KKT条件
投影梯度方法
无导数优化概述
贝叶斯优化用于超参数调优
强化学习策略的优化
实践：实现投影梯度下降
非凸优化中的挑战
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 经典教材，其中一章专门解释深度学习模型中的优化挑战。
- Identifying and Attacking the Saddle Point Problem in High-Dimensional Non-Convex Optimization, Yann N. Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyunghyun Cho, Surya Ganguli, and Yoshua Bengio, 2014 Advances in Neural Information Processing Systems, Vol. 27 (Advances in Neural Information Processing Systems) - 基础性论文，讨论了高维非凸优化中鞍点比局部最小值更普遍的现象。
- How to Escape Saddle Points Efficiently, Chi Jin, Rong Ge, Praneeth Netrapalli, Sham M. Kakade, and Michael I. Jordan, 2017 International Conference on Machine Learning (ICML), Vol. 70 (Proceedings of Machine Learning Research (PMLR)) DOI: 10.5555/3305890.3306000 - 本文提出了在非凸优化中有效逃离鞍点的算法和理论保证。
- Optimization Algorithms for Deep Learning, Xiangxiang Zhang, Anna Choromanska, and Yann LeCun, 2019 arXiv preprint arXiv:1904.12260 - 对深度学习中的优化技术及相关挑战进行了全面回顾。