前几章主要讲解了机器学习 (machine learning)模型训练中常见的无约束优化问题。本章将讨论需要不同处理方法的情形。您将学习有约束优化，此类问题中参数 (parameter)必须满足特定条件，内容涵盖其理论（拉格朗日对偶性，KKT条件）以及诸如投影梯度法等实用算法。我们还将介绍无导数优化技术，在梯度信息不可用或不可靠时，这些技术非常有用。最后，我们将介绍贝叶斯优化，将其作为一种超参数 (hyperparameter)调整方法，并提及与强化学习 (reinforcement learning)相关的优化策略。