降维和数据压缩的应用

传统线性方法，如主成分分析（PCA），对降维很有用，但当数据位于复杂的非线性流形上时，它们会遇到困难。自动编码器提供了一种强大的、数据驱动的方法来学习非线性映射，以实现降维和数据压缩。

自动编码器作为非线性降维器

欠完备自动编码器的核心架构自然适用于降维。回顾一下其结构：编码器网络$f$将高维输入数据$x \in \mathbb{R}^D$映射到低维潜在表示$z \in \mathbb{R}^d$，其中$d < D$。这个潜在向量 (vector)$z = f(x)$位于“瓶颈”层，代表了输入数据的压缩概括。解码器网络$g$随后尝试从这个表示中重建原始输入，即$\hat{x} = g(z)$。

编码器$f$有效地学习了从原始数据空间$\mathbb{R}^D$到低维空间$\mathbb{R}^d$的非线性投影。与PCA（它寻找最大化方差的线性子空间）不同，自动编码器可以学习到弯曲流形上的投影，从而获得数据中更为复杂的结构。

考虑一个位于3D空间螺旋上的数据集。PCA可能会将其投影到2D平面上，这可能导致螺旋上原本不同的点发生重叠。然而，一个经过适当训练的自动编码器可以学习将螺旋“展开”成其低维表示，更有效地保留邻域结构。

值得注意的是，如果编码器和解码器函数（$f$和$g$）都限制为线性，并且重建损失是均方误差（MSE），那么自动编码器学习到的潜在空间$z$本质上与PCA识别的子空间相同。自动编码器的真正优势在于它们能够通过在其隐藏层中使用非线性激活函数 (activation function)来学习非线性映射。

何时使用自动编码器进行降维：

1. 特征提取： 压缩表示$z$可以作为后续监督学习 (supervised learning)任务（例如，分类、回归）的丰富特征集。在$z$上训练分类器而非$x$有时可以带来更好的性能，特别是当原始维度$D$非常高或包含冗余信息时。这与后面将讨论的将自动编码器用于预训练 (pre-training)的思路相关联。
2. 数据可视化（需注意）： 尽管t-SNE和UMAP（第1章）等技术因其侧重于保留局部结构而常被推荐用于直接的2D或3D可视化，但自动编码器产生的潜在空间$z$（如果$d=2$或$d=3$）也可以进行绘制。这可以帮助理解自动编码器如何组织数据。在第6章中，我们更详细地讨论了潜在空间的可视化。
3. 处理复杂结构： 当你怀疑数据的基础结构高度非线性时，自动编码器提供了一种比线性方法更灵活的选择。

然而，训练自动编码器通常比运行PCA计算量更大。它们还会引入更多的超参数 (parameter) (hyperparameter)（网络架构、激活函数、优化器设置、潜在维度$d$），这些都需要仔细调整，本章后面将讨论这个话题。此外，解释潜在空间$z$中各个维度的含义通常不如解释从PCA获得的主成分（它们对应于最大方差的方向）那么直接。

自动编码器用于数据压缩

同样使得降维成为可能的机制也让自动编码器能够进行数据压缩。过程包括：

1. 编码（压缩）： 输入数据点$x$通过编码器网络$f$生成压缩的潜在向量 (vector)$z = f(x)$。这个向量$z$比原始的$x$占用更少的存储空间（因为$d < D$）。
2. 存储/传输： 压缩向量$z$被存储或传输。
3. 解码（解压缩）： 当需要时，压缩向量$z$通过解码器网络$g$生成重建数据$\hat{x} = g(z)$。

重要的一点是，这几乎总是有损压缩。重建输出$\hat{x}$通常不会与原始输入$x$完全相同。信息损失的程度与所选的重建损失函数 (loss function)$L(x, \hat{x})$（例如，MSE、二元交叉熵）以及自动编码器的容量，特别是瓶颈层的维度$d$有关。

压缩的权衡：

压缩比（由$d/D$决定）与重建的保真度之间存在直接的权衡。

• 非常小的潜在维度$d$会带来高压缩比，但迫使自动编码器丢弃更多信息，可能导致重建质量较差（$\hat{x}$可能模糊、失真或缺少细节）。
• 较大的潜在维度$d$可以获得更好的重建质量，但会降低压缩比。

自动编码器压缩流程：输入数据由编码器压缩成低维潜在向量，然后存储或传输。解码器从潜在向量重建原始数据的近似。

实际考量：

与标准压缩算法（例如JPEG、MP3、ZIP）不同，使用自动编码器进行压缩不仅需要存储或传输压缩向量$z$，还需要存储或传输解码器网络$g$的参数 (parameter)。编码器$f$本身也需要用于压缩。与模型参数相关的这部分开销可能很大，使得基于自动编码器的压缩与高度优化的标准算法相比，对于通用压缩而言实用性较低。

然而，在特定情况下它可能可行：

• 特定领域压缩： 如果你需要压缩特定类型的数据（例如，特定的医学图像、来自已知过程的传感器读数），并且针对这类数据定制的自动编码器在给定质量水平下能比通用方法实现显著更好的压缩。
• 迁移学习 (transfer learning)场景： 如果解码器已存在于接收端（可能作为更大系统的一部分），则只需传输潜在向量$z$。
• 极限压缩： 对于那些即使以显著重建损失为代价，也必须实现极高压缩比的应用，可以考虑使用自动编码器。

例如，一个在人脸图像上训练的卷积自动编码器（第5章）可以学习将其压缩成非常小的潜在向量。解码器随后可以从这些向量重建出可识别但可能不完美的图像。质量将很大程度上取决于网络架构、训练数据和所选的潜在维度$d$。

最终，将自动编码器用于降维侧重于学习到的表示$z$本身的用途，而将其用于压缩则侧重于在保持可接受的重建质量$\hat{x}$的前提下最小化$z$的大小。两者都利用了通过编码器-解码器结构学习紧凑、非线性数据表示的相同核心原理。选择合适的架构（例如用于图像的卷积自动编码器或用于序列的循环自动编码器）并仔细选择重建损失对于这些应用的成功很重要。