先决条件: 机器学习要点、微积分、Python。

您将学到什么

• 二阶方法

  理解并实现牛顿法、拟牛顿法（BFGS、L-BFGS）和信赖域方法。

• 自适应学习率

  分析并应用AdaGrad、RMSprop、Adam及其变体等算法，实现高效收敛。

• 大规模优化

  实现方差削减技术（SAG、SVRG）和处理海量数据集的方法。

• 分布式优化

  理解参数服务器架构、同步/异步更新以及通信高效算法。

• 非凸优化

  分析深度学习优化中的难点，并应用方法来应对复杂的损失函数图。

• 收敛性分析

  评估不同优化算法的理论收敛性质和实际运行表现。

• 实现

  获得使用常用机器学习框架实现和调整高级优化算法的实践经验。