趋近智
高级图神经网络：架构与实践
章节 1: 重温图神经网络基础
机器学习中的图表示
消息传递框架再看
图神经网络的谱图理论基础知识
图信号处理思想
表达能力与WL测试
章节 2: 高级图神经网络架构
图卷积网络 (GCN)
图注意力网络 (GAT)
在GAT中实现多头注意力
图Transformer
进阶谱GNN (ChebNet, CayleyNets)
进阶空间GNNs (GraphSAGE变体, PNA)
比较架构选择与权衡
动手实践：GAT层实现
章节 3: 应对GNN训练中的复杂性
过平滑问题
缓解过平滑的技术
过度挤压问题
处理大型图：可扩展性挑战
邻域采样技术 (GraphSAGE)
图采样技术 (GraphSAINT, ShaDow-GNN)
子图与聚类方法 (Cluster-GCN)
图神经网络的优化策略
实践：应用可扩展GNN训练
章节 4: 高级GNN任务与技术
处理异构图 (RGCN, HAN)
动态和时序图的建模
结合GNN的知识图谱嵌入
图生成模型
图上的自监督学习
图池化与读出函数
动手实践：异构图节点分类
章节 5: GNN实现、工具和优化
深度图库 (DGL) 高级功能
PyTorch Geometric (PyG) 高级功能
GNN的高效稀疏矩阵操作
GPU加速与内存管理
图神经网络的调试与可视化
基准测试与性能调优
图神经网络在生产系统中的应用
实践操作：优化GNN的实现
图神经网络的优化策略
这部分内容有帮助吗？
- Adam: A Method for Stochastic Optimization, Diederik P. Kingma, Jimmy Ba, 2014 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1412.6980 - 介绍了Adam优化器，一种广泛应用于训练深度神经网络的自适应学习率方法。
- Decoupled Weight Decay Regularization, Ilya Loshchilov, Frank Hutter, 2019 International Conference on Learning Representations (ICLR) 2019 DOI: 10.48550/arXiv.1711.05101 - 提出了AdamW，一种Adam的变体，它正确地将权重衰减与梯度更新分离，从而实现更好的泛化性能。
- SGDR: Stochastic Gradient Descent with Warm Restarts, Ilya Loshchilov, Frank Hutter, 2016 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1608.03983 - 提出了带热重启的余弦退火（SGDR）作为一种有效的学习率调度策略，以实现更快的收敛和更好的泛化。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本涵盖深度学习优化基础技术的综合性教科书，包括优化器、学习率策略和梯度裁剪。