从零开始构建神经网络，能很好地了解其底层工作方式。这个过程涉及定义层、执行前向传播、计算损失、通过反向传播计算梯度以及使用梯度下降更新参数。但是，对于规模更大、更复杂的网络，手动实现所有这些步骤会变得繁琐、易出错且计算效率低下。
这就是 TensorFlow 和 PyTorch 等深度学习框架派上用场的地方。它们是专门的库，旨在优化神经网络及其他机器学习模型的开发、训练和部署过程。您可以把它们看作强大的工具集，它们能处理许多底层实现细节，让您可以专注于模型架构和训练策略。
为何使用深度学习框架？
与手动实现相比，框架提供了一些重要优势：
- 抽象与便利： 它们提供高级 API，包含用于常见任务的预构建组件。您通常只需几行代码就能定义复杂的网络层（全连接层、卷积层、循环层）、选择激活函数（ReLU、Sigmoid、Tanh）、选择损失函数（MSE、交叉熵）并应用优化器（SGD、Adam、RMSprop）。这大大加快了开发时间。
- 自动微分： 这可能是最重要的功能。框架无需您手动推导和实现反向传播的复杂链式法则计算，而是自动计算损失函数相对于网络参数的梯度（例如，∂W∂L 和 ∂B∂L）。您只需定义前向传播（即网络架构和数据流向），框架就会在后台构建计算图，以便在反向传播过程中高效地计算梯度。
- 计算效率： 框架基于高度优化的 C++ 或 CUDA（针对 NVIDIA GPU）后端构建。数学运算，特别是对神经网络很重要的矩阵乘法，执行速度比单独使用 NumPy 等标准 Python 实现快得多。
- GPU 加速： 训练深度神经网络可能计算量很大。框架与图形处理器（GPU）提供了良好的集成，GPU 可以比 CPU 更快地执行训练所需的并行计算。在框架内使用 GPU 加速通常只需很少的代码修改。
- 社区与生态： 流行的框架拥有庞大且活跃的社区、全面的文档、大量教程以及可用于各种任务的预训练模型。这种生态使得查找解决方案、学习新技术和在现有工作基础上进行构建变得更容易。
主要框架：TensorFlow 和 PyTorch
当今最广泛使用的两个深度学习框架是 TensorFlow（由 Google 开发）和 PyTorch（主要由 Meta AI 开发）。
- TensorFlow： 最初以其静态计算图方法（先定义图，再执行图）而闻名，TensorFlow（特别是其高级 API Keras）现已变得非常灵活。Keras 提供了一个用户友好的界面，用于构建和训练可在 TensorFlow（或其他后端）上运行的模型。
- PyTorch： 由于其动态计算图（图在计算运行时即时定义），常受研究界青睐，对某些用户来说，这感觉更具“Python风格”且更易于调试。其界面在构建和训练模型方面也很直观。
尽管它们在图执行模型和 API 风格上存在历史差异，但两个框架的现代版本提供了相似的功能和灵活度。两者都支持自动微分、GPU 加速、分布式训练，并拥有丰富的生态系统。选择哪个框架通常取决于个人偏好、项目需求或团队习惯。
框架如何简化流程
让我们对比一下我们学过的步骤与它们如何对应于框架的使用：
手动实现：
- 使用数学/NumPy 定义网络结构（层、激活函数）。
- 初始化权重 W 和偏置 b。
- 开始训练循环：
a. 获取一批数据。
b. 前向传播： 手动逐层计算预测。
c. 计算损失： 使用选定的损失函数公式。
d. 反向传播： 使用链式法则手动计算梯度 ∂W∂L、∂B∂L。
e. 更新参数： 应用梯度下降更新规则：W=W−η∂W∂L。
- 重复循环，进行多个 epoch/批次。
- 手动监控损失/准确率。
框架实现：
- 使用框架的层 API 定义网络结构（例如，
tf.keras.Sequential 或 torch.nn.Sequential）。
- 框架处理参数初始化（可选择自定义）。
- 配置训练：
a. 选择优化器（例如，'adam'，
torch.optim.Adam）。
b. 选择损失函数（例如，'mse'，torch.nn.MSELoss）。
c. 指定要监控的指标（例如，'accuracy'）。
- 开始训练： 调用诸如
model.fit(data, epochs=...) 的函数（TensorFlow/Keras），或编写在 loss.backward() 后调用 optimizer.step() 的循环（PyTorch）。
- 前向传播： 数据传递给模型时在内部处理。
- 损失计算： 根据配置在内部处理。
- 反向传播（自动微分）： 由
loss.backward() 或在 fit 函数内自动处理。
- 参数更新： 由
optimizer.step() 或在 fit 函数内自动处理。
- 框架通常提供用于监控和记录进度的内置工具。
以下是工作流程对比的简化视图：
这是一个对比，说明了使用深度学习框架与从基本操作开始实现所有内容相比，显式手动步骤的减少。框架封装了核心的前向、反向和更新逻辑。
虽然本课程侧重于了解基本构成要素，并通常使用 NumPy 以便清晰，但要高效构建实用的大规模神经网络，转向 TensorFlow 或 PyTorch 等框架是必要的。它们提供了实现、训练和评估模型的必要工具，使您无需纠缠于重复的底层代码，从而能够更快地进行实验并处理更复杂的问题。
