趋近智
深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发：神经元
人工神经元：数学模型
感知机：最简单的神经网络
单层感知器的局限性
多层感知机 (MLP)：添加层次
动手实践：构建一个简单的感知器模型
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切（Tanh）激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层：输入层、隐藏层、输出层
设计前馈网络架构
动手实践：实现不同的激活函数
章节 3: 训练神经网络：损失与优化
衡量表现：损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数（交叉熵）
优化：寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践：梯度下降可视化
章节 4: 反向传播和高级优化
计算梯度：链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践：反向传播逐步解析
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型：损失函数与优化器选择
模型训练：fit 方法
监控训练进展（损失与指标）
模型性能评估
动手实践：在MNIST上训练分类器
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略（网格搜索、随机搜索）
实践操作：运用Dropout和Early Stopping
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作：卷积
CNN核心操作：池化
典型CNN架构
循环神经网络（RNN）：缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述：LSTM与GRU
梯度下降的难题
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 这本教科书详细解释了深度学习中的优化挑战，包括局部最小值、鞍点、狭长山谷中的慢收敛以及学习率的影响。
- The Loss Surfaces of Multilayer Networks, Anna Choromanska, Mikael Henaff, Michael Mathieu, Gérard Ben Arous, Yann LeCun, 2015 Proceedings of Machine Learning Research, Vol. 38 (PMLR) - 这篇论文从理论上探讨了深度神经网络损失曲面的几何特性，认为在高维空间中，大多数局部最小值在经验上是好的，主要挑战来自鞍点。
- Identifying and attacking the saddle point problem in high-dimensional non-convex optimization, Yann N. Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyunghyun Cho, Surya Ganguli, Yoshua Bengio, 2014 Advances in Neural Information Processing Systems (NIPS 27) (MIT Press) - 这篇论文讨论了高维非凸优化中鞍点比局部最小值更普遍的现象，解释了它们如何阻碍基于梯度的优化算法。
- Optimization Methods for Large-Scale Machine Learning, Léon Bottou, Frank E. Curtis, Jorge Nocedal, 2018 SIAM Review, Vol. 60 (Society for Industrial and Applied Mathematics) DOI: 10.1137/16M1080173 - 这篇综述文章全面概述了大规模机器学习中使用的优化算法，讨论了与深度学习相关的理论基础和实践方面。