趋近智
高级图神经网络：架构与实践
章节 1: 重温图神经网络基础
机器学习中的图表示
消息传递框架再看
图神经网络的谱图理论基础知识
图信号处理思想
表达能力与WL测试
章节 2: 高级图神经网络架构
图卷积网络 (GCN)
图注意力网络 (GAT)
在GAT中实现多头注意力
图Transformer
进阶谱GNN (ChebNet, CayleyNets)
进阶空间GNNs (GraphSAGE变体, PNA)
比较架构选择与权衡
动手实践：GAT层实现
章节 3: 应对GNN训练中的复杂性
过平滑问题
缓解过平滑的技术
过度挤压问题
处理大型图：可扩展性挑战
邻域采样技术 (GraphSAGE)
图采样技术 (GraphSAINT, ShaDow-GNN)
子图与聚类方法 (Cluster-GCN)
图神经网络的优化策略
实践：应用可扩展GNN训练
章节 4: 高级GNN任务与技术
处理异构图 (RGCN, HAN)
动态和时序图的建模
结合GNN的知识图谱嵌入
图生成模型
图上的自监督学习
图池化与读出函数
动手实践：异构图节点分类
章节 5: GNN实现、工具和优化
深度图库 (DGL) 高级功能
PyTorch Geometric (PyG) 高级功能
GNN的高效稀疏矩阵操作
GPU加速与内存管理
图神经网络的调试与可视化
基准测试与性能调优
图神经网络在生产系统中的应用
实践操作：优化GNN的实现
图Transformer
这部分内容有帮助吗？
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems, Vol. 30 (Curran Associates, Inc.) DOI: 10.55989/tq276h3k - 介绍了Transformer架构和缩放点积注意力机制，是图Transformer的基础。
- Graph Attention Networks, Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio, 2018 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1710.10903 - 提出了用于图神经网络的局部注意力机制，有助于理解图中局部注意力与全局注意力之间的区别。
- Do Transformers Really Perform Bad for Graph Representation?, Chengxuan Ying, Tianle Cai, Shengjie Zhong, Shuxin Zheng, Kaijie Xu, Wenzheng Feng, Mingxuan Wang, Bo Ren, 2021 Advances in Neural Information Processing Systems (NeurIPS), Vol. 34 (NeurIPS) DOI: 10.48550/arXiv.2106.05234 - 介绍了Graphormer，这是一种重要的图Transformer模型，它通过空间和中心性偏置等多种编码方式整合了图结构。