所有课程

章节 1: PyTorch 入门与环境搭建

PyTorch 是什么？

安装与环境配置

基本张量操作

与 NumPy 的关联

动手实践：环境配置与张量基本操作

第 1 章测验

章节 2: 高级张量操作

张量索引与切片

张量的重塑与维度调整

张量的合并与分割

理解广播机制

张量数据类型

CPU 与 GPU 张量

练习：张量操作技巧

第 2 章测验

章节 3: Autograd 自动微分

自动微分的原理

PyTorch 计算图

张量与梯度计算 (requires_grad)

执行反向传播 (backward())

访问梯度（.grad）

禁用梯度追踪

动手实践：Autograd 运用

第 3 章测验

章节 4: 使用 torch.nn 搭建模型

torch.nn.Module 基类

定义自定义网络架构

常见层：线性、卷积、循环

激活函数 (ReLU, Sigmoid, Tanh)

简单模型的顺序容器

损失函数 (torch.nn 损失)

优化器 (torch.optim)

练习：构建一个简单网络

第 4 章测验

章节 5: 高效数据处理

对专用数据加载器的需求

使用 torch.utils.data.Dataset

内置数据集（例如：TorchVision）

数据变换 (torchvision.transforms)

使用 torch.utils.data.DataLoader

自定义DataLoader用法

动手实践：构建数据处理流程

第 5 章测验

章节 6: 实现训练循环

训练循环的构成

设置模型、损失函数和优化器

使用 DataLoader 遍历数据

前向传播：获取预测结果

反向传播：计算梯度

使用优化器更新权重

实现评估循环

保存和加载模型检查点

动手实践：完整训练流程

第 6 章测验

章节 7: 常用模型结构介绍

卷积神经网络 (CNN) 概述

在PyTorch中构建一个简单的CNN

理解CNN层的输入/输出形状

循环神经网络 (RNN) 概述

在PyTorch中构建一个简单的RNN

循环神经网络（RNN）的序列数据输入处理

LSTM 和 GRU 简要介绍

实践：实现基本CNN和RNN

第 7 章测验

章节 8: 监控与调试模型

PyTorch开发中常见错误

调试张量形状不匹配

检查设备放置 (CPU/GPU)

检查梯度问题（消失/爆炸）

使用 TensorBoard 可视化训练进度

训练/评估期间的指标记录

在 PyTorch 中使用 Python 调试器 (pdb)

实践：调试与可视化

第 8 章测验

优化器 (`torch.optim`)

这部分内容有帮助吗？

参考文献

torch.optim - PyTorch 2.3 documentation, PyTorch Developers, 2025 (PyTorch Foundation) - PyTorch torch.optim 包的官方文档，详细介绍了可用的优化器及其用法。
Adam: A Method for Stochastic Optimization, Diederik P. Kingma and Jimmy Ba, 2015 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1412.6980 - 介绍 Adam 优化算法的原始研究论文。
Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本涵盖深度学习理论基础的综合性教科书，包括优化算法。
Decoupled Weight Decay Regularization, Ilya Loshchilov, Frank Hutter, 2019 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1711.05101 - 提出了一种将权重衰减与梯度更新分离的方法，从而产生了 AdamW 等算法。

© 2025 ApX Machine Learning用心打造