趋近智
高级图神经网络：架构与实践
章节 1: 重温图神经网络基础
机器学习中的图表示
消息传递框架再看
图神经网络的谱图理论基础知识
图信号处理思想
表达能力与WL测试
章节 2: 高级图神经网络架构
图卷积网络 (GCN)
图注意力网络 (GAT)
在GAT中实现多头注意力
图Transformer
进阶谱GNN (ChebNet, CayleyNets)
进阶空间GNNs (GraphSAGE变体, PNA)
比较架构选择与权衡
动手实践：GAT层实现
章节 3: 应对GNN训练中的复杂性
过平滑问题
缓解过平滑的技术
过度挤压问题
处理大型图：可扩展性挑战
邻域采样技术 (GraphSAGE)
图采样技术 (GraphSAINT, ShaDow-GNN)
子图与聚类方法 (Cluster-GCN)
图神经网络的优化策略
实践：应用可扩展GNN训练
章节 4: 高级GNN任务与技术
处理异构图 (RGCN, HAN)
动态和时序图的建模
结合GNN的知识图谱嵌入
图生成模型
图上的自监督学习
图池化与读出函数
动手实践：异构图节点分类
章节 5: GNN实现、工具和优化
深度图库 (DGL) 高级功能
PyTorch Geometric (PyG) 高级功能
GNN的高效稀疏矩阵操作
GPU加速与内存管理
图神经网络的调试与可视化
基准测试与性能调优
图神经网络在生产系统中的应用
实践操作：优化GNN的实现
在GAT中实现多头注意力
这部分内容有帮助吗？
- Graph Attention Networks, Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio, 2018 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1710.10903 - 本文介绍了图注意力网络（GAT）的基础架构，详细阐述了其原始提议以及使用多头注意力机制聚合节点特征的方法。
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems (NeurIPS), Vol. 30 DOI: 10.48550/arXiv.1706.03762 - 这篇重要论文介绍了Transformer模型和多头注意力机制，该机制显著影响了包括图神经网络在内的许多领域中基于注意力模型的设计。