趋近智
神经网络入门
章节 1: 神经网络基本原理
从生物神经元到人工神经元
权重和偏置：网络的参数
激活函数：引入非线性
网络结构：层与连接
一个简单的前馈网络示例
实践：计算神经元输出
章节 2: 为神经网络准备数据
理解输入数据表示
特征缩放：归一化与标准化
处理分类数据：编码技术
构建训练数据批次
数据划分：训练集、验证集和测试集
实践操作：预处理样本数据
章节 3: 前向传播：生成预测结果
网络中的信息流动
线性变换：加权和计算
逐层应用激活函数
高效计算的矩阵运算
计算最终输出预测
动手实践：实现前向传播
章节 4: 训练：反向传播与梯度下降
评估性能：损失函数
梯度下降的原理
反向传播：高效计算梯度
更新权重和偏差
学习率及其作用
随机梯度下降 (SGD) 及其变体
实践：手动计算梯度
章节 5: 构建与训练简单神经网络
搭建网络结构
初始化权重与偏置
训练循环的结构
实现训练步骤
监控训练进程
深度学习框架（TensorFlow/PyTorch）简介
动手实践：训练一个简单分类器
章节 6: 提升网络性能及泛化能力
理解过拟合和欠拟合
验证集的作用
正则化方法：L1 和 L2
Dropout：随机停用神经元
早期停止：优化训练终止
超参数调优策略
实践：应用正则化
随机梯度下降 (SGD) 及其变体
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 全面介绍深度学习基本概念的教材，包括本节讨论的各种优化算法。
- On the Importance of Initialization and Momentum in Deep Learning, Ilya Sutskever, James Martens, George Dahl, and Geoffrey Hinton, 2013 Proceedings of the 30th International Conference on Machine Learning (ICML), Vol. 28 (PMLR) - 探讨动量在加速深度神经网络训练和改善收敛方面作用的重要论文。
- RMSprop (Lecture 6e, Coursera: Neural Networks for Machine Learning), Geoffrey Hinton, 2012 - 介绍RMSprop算法，一种在深度学习中广泛采用的自适应学习率方法。
- Adam: A Method for Stochastic Optimization, Diederik P. Kingma and Jimmy Ba, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1412.6980 - 引入Adam优化器的开创性论文，它结合了动量和自适应学习率，是许多深度学习任务中常用的默认选择。