趋近智
神经网络入门
章节 1: 神经网络基本原理
从生物神经元到人工神经元
权重和偏置：网络的参数
激活函数：引入非线性
网络结构：层与连接
一个简单的前馈网络示例
实践：计算神经元输出
章节 2: 为神经网络准备数据
理解输入数据表示
特征缩放：归一化与标准化
处理分类数据：编码技术
构建训练数据批次
数据划分：训练集、验证集和测试集
实践操作：预处理样本数据
章节 3: 前向传播：生成预测结果
网络中的信息流动
线性变换：加权和计算
逐层应用激活函数
高效计算的矩阵运算
计算最终输出预测
动手实践：实现前向传播
章节 4: 训练：反向传播与梯度下降
评估性能：损失函数
梯度下降的原理
反向传播：高效计算梯度
更新权重和偏差
学习率及其作用
随机梯度下降 (SGD) 及其变体
实践：手动计算梯度
章节 5: 构建与训练简单神经网络
搭建网络结构
初始化权重与偏置
训练循环的结构
实现训练步骤
监控训练进程
深度学习框架（TensorFlow/PyTorch）简介
动手实践：训练一个简单分类器
章节 6: 提升网络性能及泛化能力
理解过拟合和欠拟合
验证集的作用
正则化方法：L1 和 L2
Dropout：随机停用神经元
早期停止：优化训练终止
超参数调优策略
实践：应用正则化
超参数调优策略
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 提供神经网络的全面理论和实践基础，详细讨论超参数、优化方法和训练策略。
- Random Search for Hyper-Parameter Optimization, James Bergstra, Yoshua Bengio, 2012 Journal of Machine Learning Research, Vol. 13 (Journal of Machine Learning Research) DOI: 10.5555/2188385.2188395 - 提出随机搜索方法，并证明其在超参数优化方面比网格搜索更有效，尤其在并非所有超参数都同等重要的情况下。
- Practical Bayesian Optimization of Machine Learning Algorithms, Jasper Snoek, Hugo Larochelle, Ryan P. Adams, 2012 Advances in Neural Information Processing Systems (NIPS) 25 (Elsevier B.V.) DOI: 10.5555/2999134.2999201 - 一篇在机器学习超参数调整中应用贝叶斯优化的开创性研究，提供比穷举或随机搜索更智能的方法。
- Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, Aurélien Géron, 2022 (O'Reilly Media) - 涵盖网格搜索和随机搜索等超参数调整策略的指南，并提供使用流行深度学习框架的实现细节。（第四版）