趋近智
高级TensorFlow技术
章节 1: TensorFlow 执行与图
TensorFlow 的运行模式：即时执行与图执行
理解 tf.function 和 AutoGraph
追踪机制与图表示
在图结构中实现控制流
使用 tf.GradientTape 进行自动微分
管理资源和内存
调试 TensorFlow 程序
实践：优化函数追踪
章节 2: 高性能 TensorFlow
使用 TensorBoard Profiler 分析 TensorFlow 代码性能
优化 GPU 利用率
混合精度训练技术
张量处理单元（TPU）介绍
XLA（加速线性代数）编译
tf.data 管道的性能考量
模型性能分析与加速实践
章节 3: 使用分布式策略扩展训练
分布式机器学习的基本原理
tf.distribute.Strategy 概述用于单机多 GPU 训练的 MirroredStrategy
用于多节点训练的 MultiWorkerMirroredStrategy
ParameterServerStrategy 基本思想
用于在 TPU 上训练的 TPUStrategy
有效处理数据并行
调试分布式训练任务
实践：实现分布式训练
章节 4: 高级 API 使用与自定义组件
通过继承tf.keras.Model获得灵活性
构建定制tf.keras层
实现自定义损失函数
开发自定义指标
编写自定义训练循环
处理参差张量和稀疏张量
使用TensorFlow Addons处理特定功能
动手实践：构建自定义模型管线
章节 5: TFX：生产级机器学习流水线
TensorFlow Extended (TFX) 简介
TFX 标准组件概述
数据摄取与验证
特征工程与 Transform
模型训练与调优
模型验证与分析
使用 Pusher 进行模型服务与部署
编排 TFX 流水线
动手实践：构建一个简单的 TFX 流水线
章节 6: 模型部署与优化
保存和加载高级模型格式
TensorFlow Serving 简介
使用 REST 和 gRPC 部署 TensorFlow Serving 模型
模型优化方法
TensorFlow Lite (TF Lite) 简介
为 TF Lite 转换模型
优化设备端推理
动手实践：使用 TF Serving 部署模型
章节 7: 构建进阶架构
从零构建注意力机制
实现Transformer模块
生成对抗网络 (GANs) 原理
在TensorFlow中编写一个简单的GAN
TensorFlow图神经网络（GNN）基础
使用 TF-Agents 的强化学习智能体
实践：实现Transformer编码器层
tf.distribute.Strategy 概述
这部分内容有帮助吗？
- Distributed training with TensorFlow, TensorFlow Developers, 2024 -
tf.distribute.Strategy的官方指南，解释其原理、各种策略以及 Keras 和自定义训练循环的使用示例。 - Horovod: Fast and Easy Distributed Deep Learning Training, Alexander Sergeev, Mike Del Balso, 2018 arXiv preprint arXiv:1802.05799 DOI: 10.48550/arXiv.1802.05799 - 介绍了 Horovod，一个使用 all-reduce 有效实现数据并行性的分布式训练框架，阐明了与
MirroredStrategy等同步策略相关的概念。 - Large Scale Distributed Deep Networks, Jeffrey Dean, Greg Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Mark Mao, Marcaurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, Quoc V. Le, Andrew Y. Ng, 2012 Advances in Neural Information Processing Systems (NIPS) 25 (Curran Associates, Inc.) - 一篇介绍使用参数服务器架构的大规模分布式训练系统的论文，有助于理解
ParameterServerStrategy背后的原理。 - A Domain-Specific Architecture for Deep Neural Networks, Norman P. Jouppi, Cliff Young, Nishant Patil, David Patterson, 2018 Communications of the ACM, Vol. 61 (Association for Computing Machinery (ACM)) DOI: 10.1145/3154484 - 描述了 Google 张量处理单元 (TPU) 的架构及其演变，提供了对深度学习优化硬件的见解，直接支持
TPUStrategy。