趋近智
PyTorch入门
章节 1: PyTorch 入门与环境搭建
PyTorch 是什么？
安装与环境配置
张量介绍
创建张量
基本张量操作
与 NumPy 的关联
动手实践：环境配置与张量基本操作
章节 2: 高级张量操作
张量索引与切片
张量的重塑与维度调整
张量的合并与分割
理解广播机制
张量数据类型
CPU 与 GPU 张量
练习：张量操作技巧
章节 3: Autograd 自动微分
自动微分的原理
PyTorch 计算图
张量与梯度计算 (
requires_grad)执行反向传播 (
backward())访问梯度（
.grad）禁用梯度追踪
梯度累积
动手实践：Autograd 运用
章节 4: 使用
torch.nn 搭建模型torch.nn.Module 基类定义自定义网络架构
常见层：线性、卷积、循环
激活函数 (ReLU, Sigmoid, Tanh)
简单模型的顺序容器
损失函数 (
torch.nn 损失)优化器 (
torch.optim)练习：构建一个简单网络
章节 5: 高效数据处理
对专用数据加载器的需求
使用
torch.utils.data.Dataset内置数据集（例如：TorchVision）
数据变换 (
torchvision.transforms)使用
torch.utils.data.DataLoader自定义DataLoader用法
动手实践：构建数据处理流程
章节 6: 实现训练循环
训练循环的构成
设置模型、损失函数和优化器
使用 DataLoader 遍历数据
前向传播：获取预测结果
计算损失
反向传播：计算梯度
使用优化器更新权重
梯度清零
实现评估循环
保存和加载模型检查点
动手实践：完整训练流程
章节 7: 常用模型结构介绍
卷积神经网络 (CNN) 概述
在PyTorch中构建一个简单的CNN
理解CNN层的输入/输出形状
循环神经网络 (RNN) 概述
在PyTorch中构建一个简单的RNN
循环神经网络（RNN）的序列数据输入处理
LSTM 和 GRU 简要介绍
实践：实现基本CNN和RNN
章节 8: 监控与调试模型
PyTorch开发中常见错误
调试张量形状不匹配
检查设备放置 (CPU/GPU)
检查梯度问题（消失/爆炸）
使用 TensorBoard 可视化训练进度
训练/评估期间的指标记录
在 PyTorch 中使用 Python 调试器 (pdb)
实践：调试与可视化
激活函数 (ReLU, Sigmoid, Tanh)
这部分内容有帮助吗？
- Deep Sparse Rectifier Neural Networks, Xavier Glorot, Antoine Bordes, Yoshua Bengio, 2011 Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, Vol. 15 (PMLR) DOI: 10.5555/3104322.3104360 - 这篇开创性论文引入了整流线性单元（ReLU）作为激活函数，展示了其在深度学习模型中的优势并解决了梯度消失问题。
torch.nn- PyTorch documentation, PyTorch, 2024 - PyTorch神经网络模块的官方文档，详细介绍了ReLU、Sigmoid和Tanh等激活函数的实现和使用。- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本全面的教科书，提供了神经网络的理论基础和实践见解，包括对激活函数及其属性的详细讨论。
- CS231n: Convolutional Neural Networks for Visual Recognition - Lecture Notes, Fei-Fei Li, Andrej Karpathy, Justin Johnson, 2024 (Stanford University) - 一门备受推崇的大学课程的讲义，提供了对激活函数、其作用以及神经网络设计中实际考虑因素的清晰解释。