ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

归一化流简介
章节 1: 可逆变换的数学原理
随机变量与分布
变量代换定理
计算雅可比行列式
前向传播与反向传播
雅可比矩阵计算实践
章节 2: 构建标准化流
定义规范化流
堆叠变换
平面流与径向流
选择基础分布
实现平面流练习
章节 3: 自回归流
自回归生成模型
分布估算遮罩自编码器
掩码自回归流 (MAF)
逆自回归流
构建自回归模型实践
章节 4: 耦合架构
仿射耦合层
RealNVP 架构
多尺度架构
ActNorm 与可逆卷积
实现耦合层实践
章节 5: 训练流模型
极大似然估计
密度估计的损失函数
数据去量化方法
采样流程
正规化流训练实践

计算雅可比行列式

将简单概率分布映射到更复杂的分布依赖于变量替换定理。该方程的核心组成部分是雅可比行列式(Jacobian determinant)。当一个可逆函数 fff 作用于随机变量 zzz 生成 x=f(z)x = f(z)x=f(z) 时,概率密度不仅会发生移动,还会发生缩放。雅可比行列式准确地衡量了在这种变换过程中,空间的体积扩张或收缩了多少。

对于多维数据(例如图像或标记 (token)序列),变量 zzz 是一个大小为 NNN 的向量 (vector)。函数 fff 输出另一个相同大小的向量 xxx。雅可比矩阵(记作 JJJ)包含了函数 fff 对输入向量 zzz 的所有偏导数。

J=∂x∂z=[∂x1∂z1⋯∂x1∂zN⋮⋱⋮∂xN∂z1⋯∂xN∂zN]J = \frac{\partial x}{\partial z} = \begin{bmatrix} \frac{\partial x_1}{\partial z_1} & \cdots & \frac{\partial x_1}{\partial z_N} \\ \vdots & \ddots & \vdots \\ \frac{\partial x_N}{\partial z_1} & \cdots & \frac{\partial x_N}{\partial z_N} \end{bmatrix}J=∂z∂x​=​∂z1​∂x1​​⋮∂z1​∂xN​​​⋯⋱⋯​∂zN​∂x1​​⋮∂zN​∂xN​​​​

该矩阵中的每个元素代表了特定输入维度 zjz_jzj​ 的微小变化如何影响特定的输出维度 xix_ixi​。

该矩阵的行列式 det⁡(J)\det(J)det(J) 量化 (quantization)了所有维度上的总体体积变化。例如,以一个简单的 2D 缩放变换为例,其中 x1=2z1x_1 = 2z_1x1​=2z1​ 且 x2=3z2x_2 = 3z_2x2​=3z2​。雅可比矩阵是一个对角矩阵,对角线上分别是 2 和 3。其行列式为 2×3=62 \times 3 = 62×3=6。由于该变换将空间体积扩大了 6 倍,为了确保总概率之和仍为 1,概率密度必须相应地缩小到原来的 1/6。我们取行列式的绝对值 ∣det⁡(J)∣\left| \det(J) \right|∣det(J)∣,因为即便变换翻转了空间方向,体积缩放比例始终是正值。

在构建机器学习 (machine learning)模型时,将许多微小的概率或行列式相乘会导致数值下溢。为了保持数值稳定性,我们几乎总是计算对数行列式(log-determinant)。利用标准的对数性质,对数密度方程可以简化为加法运算:

log⁡p(x)=log⁡p(z)+log⁡∣det⁡∂x∂z∣\log p(x) = \log p(z) + \log \left| \det \frac{\partial x}{\partial z} \right|logp(x)=logp(z)+log​det∂z∂x​​

计算一个通用 N×NN \times NN×N 矩阵的行列式效率极低,其时间复杂度为 O(N3)O(N^3)O(N3)。对于图像或音频等 NNN 轻松达到数万的高维数据,计算稠密雅可比行列式在计算成本上是不可接受的。

为了使密度估计具有实用性,规范化流限制了其使用的数学函数。流架构经过专门设计,使其雅可比矩阵呈三角形,这意味着矩阵的下半部分或上半部分完全由零组成。

雅可比矩阵的结构以及流模型中三角形设计的计算优势。

三角矩阵的行列式仅仅是其对角线元素的乘积。这一数学性质允许我们在计算体积变化时完全忽略非对角线上的偏导数。

det⁡(J)=∏i=1N∂xi∂zi\det(J) = \prod_{i=1}^N \frac{\partial x_i}{\partial z_i}det(J)=i=1∏N​∂zi​∂xi​​

通过将此性质与对数相结合,我们可以将对数行列式计算为对数对角线元素的总和。这种优化将行列式计算的时间复杂度从 O(N3)O(N^3)O(N3) 降低到 O(N)O(N)O(N),使得规范化流能够扩展到高维数据集。

log⁡∣det⁡(J)∣=∑i=1Nlog⁡∣∂xi∂zi∣\log \left| \det(J) \right| = \sum_{i=1}^N \log \left| \frac{\partial x_i}{\partial z_i} \right|log∣det(J)∣=i=1∑N​log​∂zi​∂xi​​​

理解如何高效计算这些行列式决定了我们如何设计流模型的内部层。我们需要既具有强大表达能力,又能保证雅可比矩阵为三角形的变换。在接下来的部分中,我们将利用这些数学基础,在正向传递过程中评估准确的概率密度,并在反向传递过程中生成新数据。

© 2026 ApX Machine Learning