趋近智
JAX 入门
章节 1: JAX 简介
JAX 是什么？
JAX 对比 NumPy
核心设计理念：函数变换
安装与设置
使用 JAX 数组
设备管理：CPU、GPU、TPU
动手练习：基本数组操作
章节 2: 通过 JIT 编译加速函数
速度提升：为何需要编译？
介绍
jax.jitJIT 工作原理：追踪与编译
Python 控制流与
jit静态值与跟踪值
jit 的常见问题动手实践：应用
jit章节 3: 使用
grad 进行自动微分理解梯度
介绍
jax.grad自动微分的工作方式：反向模式
关于参数求导
高阶导数（
grad的grad）值和梯度 (
jax.value_and_grad)求导与控制流
局限性与注意事项
动手实践：计算梯度
章节 4: 使用
vmap 实现自动向量化向量化的原理
介绍
jax.vmap对特定参数进行映射（
in_axes，out_axes）处理多个批处理参数
嵌套
vmap结合
vmap 与 jit 和 gradvmap的性能考量动手实践：函数向量化
章节 5: 使用
pmap 在多设备上并行计算数据并行 (SPMD) 介绍
介绍
jax.pmap将数据映射到设备 (
in_axes, out_axes)设备网格与轴名称
集体操作（
lax.psum、lax.pmean等）将
pmap 与其他变换结合使用调试
pmap 化的函数动手实践：并行计算
章节 6: JAX 中的状态管理
函数纯粹性与副作用
函数式代码中的状态挑战
模式：显式状态传递
使用 PyTree 管理分层状态
示例：有状态计数器
例子：简单的优化器状态
将状态管理与变换结合
实践：实现有状态函数
结合 vmap 与 jit 和 grad
这部分内容有帮助吗？
- JAX Quickstart, JAX Authors, 2024 - 介绍了JAX的核心函数变换，包括
jit、grad和vmap，并展示了它们的基本用法和组合性。 - JAX: Composable transformations of Python+NumPy programs, James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne, and Qiao Zhang, 2018 (Google) - 介绍了JAX的设计原则，特别是其核心变换（
jit、grad、vmap）的组合性，这对于本节内容至关重要。 - Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Andreas Griewank, Andrea Walther, 2008 (Society for Industrial and Applied Mathematics (SIAM)) - 一本关于算法微分（自动微分）的经典著作，为
grad变换提供了理论基础。 - TensorFlow's XLA: Optimizing Compiler for Machine Learning, Google Brain Team, 2024 (Google Developers) - 描述了XLA，这是JAX
jit变换使用的优化编译器后端，用于在各种硬件加速器上实现高计算性能。