趋近智
深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发：神经元
人工神经元：数学模型
感知机：最简单的神经网络
单层感知器的局限性
多层感知机 (MLP)：添加层次
动手实践：构建一个简单的感知器模型
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切（Tanh）激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层：输入层、隐藏层、输出层
设计前馈网络架构
动手实践：实现不同的激活函数
章节 3: 训练神经网络：损失与优化
衡量表现：损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数（交叉熵）
优化：寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践：梯度下降可视化
章节 4: 反向传播和高级优化
计算梯度：链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践：反向传播逐步解析
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型：损失函数与优化器选择
模型训练：fit 方法
监控训练进展（损失与指标）
模型性能评估
动手实践：在MNIST上训练分类器
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略（网格搜索、随机搜索）
实践操作：运用Dropout和Early Stopping
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作：卷积
CNN核心操作：池化
典型CNN架构
循环神经网络（RNN）：缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述：LSTM与GRU
选择优化算法
这部分内容有帮助吗？
- Adam: A Method for Stochastic Optimization, Diederik P. Kingma and Jimmy Ba, 2014 International Conference on Learning Representations (ICLR 2015) DOI: 10.48550/arXiv.1412.6980 - 介绍了Adam优化算法，结合了自适应学习率和动量。
- Decoupled Weight Decay Regularization, Ilya Loshchilov and Frank Hutter, 2019 International Conference on Learning Representations (ICLR 2019) DOI: 10.48550/arXiv.1711.05101 - 提出了AdamW，是Adam的一个变体，将权重衰减与自适应学习率机制解耦，从而改进了正则化。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 全面的教材，涵盖了各种优化算法，包括SGD、动量、RMSprop和Adam，以及它们的理论基础和实际考量。
- The Marginal Value of Adaptive Gradient Methods in Machine Learning, Ashia C. Wilson, Rebecca Roelofs, Mitchell Stern, Nathan Srebro, Benjamin Recht, 2017 Advances in Neural Information Processing Systems 30 (NeurIPS 2017) DOI: 10.48550/arXiv.1705.08292 - 批判性分析了自适应梯度方法（如Adam）与SGD的泛化性能，指出SGD可以找到更平坦的极小值。