趋近智
虽然像卷积神经网络 (neural network)(CNN)和循环神经网络(RNN)这样的基本网络设计能有效处理许多任务,但某些问题场景需要更专业的结构。本章将着重介绍如何使用PyTorch实现多种进阶神经网络模型。
您将学习重要的现代结构及其实现细节。我们将逐个组件地介绍Transformer模型的构建,包括注意力机制 (attention mechanism)。我们还将使用图神经网络(GNN)处理图结构数据,并运用PyTorch Geometric等库。此外,本章会介绍用于生成任务的归一化 (normalization)流(Normalizing Flows)、用于连续深度建模的神经常微分方程(Neural ODEs),以及针对少样本场景的元学习方法。侧重于理解这些构成要素,并在代码中构建这些复杂的模型。
2.1 从组件构建Transformer模型
2.2 高级注意力机制
2.3 使用 PyTorch Geometric 的图神经网络
2.4 用于生成建模的归一化流
2.5 神经常微分方程
2.6 元学习算法
2.7 实践:实现自定义GNN层