趋近智
高级图神经网络：架构与实践
章节 1: 重温图神经网络基础
机器学习中的图表示
消息传递框架再看
图神经网络的谱图理论基础知识
图信号处理思想
表达能力与WL测试
章节 2: 高级图神经网络架构
图卷积网络 (GCN)
图注意力网络 (GAT)
在GAT中实现多头注意力
图Transformer
进阶谱GNN (ChebNet, CayleyNets)
进阶空间GNNs (GraphSAGE变体, PNA)
比较架构选择与权衡
动手实践：GAT层实现
章节 3: 应对GNN训练中的复杂性
过平滑问题
缓解过平滑的技术
过度挤压问题
处理大型图：可扩展性挑战
邻域采样技术 (GraphSAGE)
图采样技术 (GraphSAINT, ShaDow-GNN)
子图与聚类方法 (Cluster-GCN)
图神经网络的优化策略
实践：应用可扩展GNN训练
章节 4: 高级GNN任务与技术
处理异构图 (RGCN, HAN)
动态和时序图的建模
结合GNN的知识图谱嵌入
图生成模型
图上的自监督学习
图池化与读出函数
动手实践：异构图节点分类
章节 5: GNN实现、工具和优化
深度图库 (DGL) 高级功能
PyTorch Geometric (PyG) 高级功能
GNN的高效稀疏矩阵操作
GPU加速与内存管理
图神经网络的调试与可视化
基准测试与性能调优
图神经网络在生产系统中的应用
实践操作：优化GNN的实现
缓解过平滑的技术
这部分内容有帮助吗？
- Representation Learning on Graphs with Jumping Knowledge Networks, Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, Stefanie Jegelka, 2018 Proceedings of the 35th International Conference on Machine Learning (ICML), Vol. 80 (PMLR) - 介绍了 Jumping Knowledge Networks，一种结合了不同层深度信息来防止过平滑并提高表示质量的架构。
- DeepGCNs: Can GCNs Go as Deep as CNNs?, Guohao Li, Chenxin Xu, Weigang Zhang, Zhiwu Lu, 2019 Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (IEEE) DOI: 10.1109/ICCV.2019.00194 - 提出了一个使用残差连接等技术构建深度 GCN 的框架，取得了先进结果并证明了深度 GNN 的可行性。
- PairNorm: Tackling Oversmoothing in GNNs, Lingxiao Zhao, Leman Akoglu, 2020 Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI) DOI: 10.24963/ijcai.2020/220 - 介绍了 PairNorm，一种图特有的归一化技术，旨在通过控制节点嵌入的方差来明确解决过平滑问题。
- DropEdge: Towards Deep Graph Convolutional Networks on Node Classification, Yu Rong, Wenbing Huang, Tingyang Xu, Junzhou Huang, 2020 International Conference on Learning Representations (ICLR) (OpenReview) DOI: 10.48550/arXiv.1907.08632 - 提出了 DropEdge，一种在训练过程中随机移除边的正则化技术，旨在防止过平滑并提高深度 GCN 的性能。