趋近智
高级联邦学习技术
章节 1: 联邦学习核心原理重温
联邦学习原则回顾
联邦环境中的难题
联邦优化的数学表述
同步联邦学习模型与异步联邦学习模型
联邦学习中的威胁模型
评估联邦学习系统
章节 2: 高级聚合算法
联邦平均（FedAvg）的局限性
FedProx：处理统计异质性
SCAFFOLD: 联邦优化中的方差降低
FedNova：针对异构系统的规范化平均
拜占庭容错聚合方法
自适应联邦优化方法
实践：实现高级聚合
章节 3: 提升联邦学习中的隐私保护
联邦学习中的差分隐私机制
将差分隐私应用于梯度更新
组合定理与隐私预算管理
安全多方计算 (SMC) 聚合协议
同态加密 (HE) 用于安全聚合
联邦学习中差分隐私、安全多方计算与同态加密的比较
隐私攻击：推断与重建
动手实践：实现DP-FedAvg
章节 4: 处理异质性和个性化
异构性的来源：统计性与系统性
处理非独立同分布数据的技术
聚类联邦学习方法
联邦个性化中的元学习
联邦设置中的多任务学习
模型剪枝与设备限制适应
实践：模拟非独立同分布数据及缓解方法
章节 5: 通信效率与系统优化
联邦学习中的通信瓶颈
梯度压缩技术
误差累积与补偿方法
模型更新压缩方法
优化本地计算
异步联邦学习优化
动手实践：实现梯度量化
章节 6: 联邦学习系统设计与实现
联邦学习系统的架构
联邦学习框架概览
模拟与部署
联邦系统的监控与调试
跨筒仓与跨设备联邦学习实现
系统部署中的安全考量
实践：搭建基础联邦学习仿真
模型剪枝与设备限制适应
这部分内容有帮助吗？
- Once-for-All: Train One Network and Specialize It for Efficient Deployment, Han Cai, Chuang Gan, Tianzhe Wang, Zhekai Zhang, Song Han, 2020 International Conference on Learning Representations DOI: 10.48550/arXiv.1908.09791 - 本论文介绍了Once-for-All (OFA) 网络架构，这是一种灵活的框架，允许训练一个大型网络，然后从中提取并高效部署多个专业子网络而无需再次训练，与模型适应策略直接相关。
- Distilling the knowledge in a neural network, Geoffrey Hinton, Oriol Vinyals, Jeff Dean, 2015 arXiv preprint arXiv:1503.02531 DOI: 10.48550/arXiv.1503.02531 - 这篇基础论文介绍了知识蒸馏的概念，这是一种将知识从大型复杂“教师”模型转移到更小、更高效的“学生”模型的方法，是模型适应的核心技术。
- Pruning Filters for Efficient ConvNets, Hao Li, Asim Kadav, Igor Durdanovic, Hanan Samet, Hans Peter Graf, 2017 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.1608.08710 - 本论文提出了一种结构化剪枝方法，专注于从卷积神经网络中移除整个滤波器，展示了如何在保持准确性的同时实现显著的模型压缩，与文中提供的滤波器剪枝示例直接相关。