ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

自动编码器与表示学习
章节 1: 表示学习的基本原理
无监督学习原理回顾
线性降维的局限性
流形学习方法简介
非线性特征提取的需求
信息瓶颈理论基础
数学基础知识回顾
章节 2: 经典自动编码器架构
编码器网络设计
瓶颈层
解码器网络设计
重建损失函数
基础自编码器的数学公式表示
实现考量与框架
搭建简单自编码器:实践操作
章节 3: 正则化自动编码器:构建稳固表示
处理自编码器中的过拟合
稀疏自编码器:L1 和 KL 散度
去噪自编码器架构与训练
收缩自编码器公式
正则化技术的比较
实施去噪自编码器:动手实践
实现稀疏自编码器:实践操作
章节 4: 变分自编码器用于生成式建模
确定性自动编码器的生成局限
概率编码器与解码器
隐变量模型视角
重参数化技巧的解释
推导证据下界(ELBO)
KL散度项分析
变分自编码器中的重构损失项
条件变分自编码器 (CVAE)
实现图像生成变分自编码器:实践
章节 5: 进阶自动编码器结构
用于空间数据的卷积自编码器
循环自编码器处理序列数据
对抗性自编码器(AAEs)
向量量化变分自编码器 (VQ-VAEs)
基于Transformer的自编码器概述
比较高级架构
卷积自编码器的实现:动手操作
章节 6: 理解和操纵潜在空间
使用 t-SNE 和 UMAP 可视化潜在空间
学习所得表征的特性
解耦表示理论
促进解缠的方法
潜在空间中的插值与遍历
潜在空间中的算术运算
评估表示质量的指标
潜在空间可视化与分析:实操篇
章节 7: 应用与训练策略
自编码器用于异常检测
降维和数据压缩的应用
自动编码器用于深度网络预训练
图像去噪和修补应用
序列到序列自编码器概述
高级优化算法
学习率计划与调整
超参数调优策略
使用自编码器进行异常检测:实践

正则化技术的比较

直接比较稀疏自编码器(Sparse AE)、去噪自编码器(DAE)和收缩自编码器(CAE),以理解它们的优势、劣势和适合的使用场景。每种技术都为基本的自编码器目标引入了一种正则化 (regularization)形式,引导模型学习到更有效且抗干扰的表示。

自编码器中正则化的核心思想是阻止模型学习恒等函数(尤其当隐藏维度不小于输入维度时)或对训练数据过拟合 (overfitting),这会导致泛化能力差,并且表示未能捕捉数据的基础结构。稀疏自编码器、去噪自编码器和收缩自编码器通过不同的机制实现此目的。

机制与目标

  • 稀疏自编码器(Sparse AE):这些自编码器对隐藏层单元的激活值施加稀疏性约束。这通常通过向损失函数 (loss function)中添加激活值的L1L_1L1​惩罚(鼓励许多激活值精确为零),或者添加一个KL散度项(将每个隐藏单元的平均激活值推向一个小的期望值,例如0.05)来实现。

    • 目标:学习表示,这些表示在任何给定输入下,仅激活少数特征。这促使网络找到专有、可能更具可解释性的特征,在某种程度上类似于特征选择。它以数据依赖的方式限制模型的容量。
  • 去噪自编码器(DAE):去噪自编码器通过损坏输入数据(例如,添加高斯噪声、遮盖条目)并训练自编码器从该损坏版本重构原始、干净的输入来工作。重构损失在解码器输出与未损坏数据之间计算。

    • 目标:学习对噪声或输入局部遮挡具有抵抗力的特征。通过强制模型去噪,它隐式学习数据的基础结构,捕捉输入特征之间的依赖关系以补全缺失或嘈杂的信息。
  • 收缩自编码器(CAE):收缩自编码器向损失函数添加一个惩罚项,该惩罚项对应于编码器激活值关于输入的雅可比矩阵的平方弗罗贝尼乌斯范数。此惩罚迫使编码器映射h=f(x)h = f(x)h=f(x)具有收缩性,这意味着它对训练数据点周围输入空间中的小扰动不敏感。

    • 目标:学习局部不变或稳定的表示。编码器被鼓励将输入点的一个邻域映射到潜在空间中的一个更小的邻域,本质上捕捉数据流形沿方向的变化,同时忽略正交于它的方向。

对学习表示的影响

正则化 (regularization)类型明显影响学习到的潜在空间hhh的属性:

  • 稀疏自编码器倾向于产生表示,其中单个数据点仅激活少数维度。这可能产生针对某些模式的专有检测器,但除非与其他技术结合,否则可能不会产生适合生成或插值的平滑结构潜在空间。
  • 去噪自编码器学习捕捉数据流形的表示。从损坏输入中重构的需要,迫使模型理解数据的统计结构。这通常会产生对后续任务有用的特征,尽管潜在空间结构不像变分自编码器(VAEs)(稍后会介绍)那样被明确控制。
  • 收缩自编码器促使表示在正交于数据流形的方向上压缩变化。这导致表示对流形方向沿的变化高度敏感,但对其他方向不变。这种局部稳定性对基于所学特征执行的分类任务可能有利。

计算考量

  • 稀疏自编码器:额外计算成本相对较低。计算L1L_1L1​范数或平均激活值和KL散度对前向和后向传播的增加极小。
  • 去噪自编码器:主要开销来自于数据损坏步骤,需要为每个训练批次执行。此步骤的复杂性取决于所选的损坏方法,但通常可控。网络架构本身不变。
  • 收缩自编码器:这些通常计算成本最高。计算雅可比矩阵Jf(x)J_f(x)Jf​(x)涉及计算所有隐藏单元激活值相对于所有输入维度的梯度。对于高维输入和隐藏层,这会相比标准自编码器或其他正则化 (regularization)自编码器大幅增加训练时间。

优缺点总结

特性 稀疏自编码器 去噪自编码器 收缩自编码器
机制 激活稀疏性惩罚(L1/KL) 从损坏输入重构 惩罚雅可比范数
目标 特征选择,稀疏编码 对噪声的抗干扰性,流形学习 局部不变性,稳定性
优势 潜在可解释的特征 有用的特征,经验上有效 理论上有依据的局部稳定性
劣势 稀疏性调优敏感 需要定义损坏过程 计算成本高(雅可比)
可能无法产生平滑潜在空间 潜在空间结构不太直接 收缩强度调优困难
成本 低开销 中等开销(损坏) 高开销(雅可比计算)
典型用途 特征选择,可解释性 噪声数据,特征提取 当局部输入不变性重要时

选择合适的技术

稀疏自编码器、去噪自编码器和收缩自编码器之间的选择很大程度上取决于具体目标和数据性质:

  • 如果您的主要目标是对噪声输入的抗干扰性或隐式学习捕捉数据基础结构的特征,去噪自编码器通常是强劲而实用的选择。它们被广泛使用且经验上有效。
  • 如果您需要对小输入变化具有稳定性的特征,并且愿意为潜在更好的局部几何属性接受更高的计算成本,收缩自编码器可能适合。
  • 如果您的目标是高度稀疏的表示,其中每个输入只有少数特征活跃,也许是为了可解释性或模仿生物稀疏编码,稀疏自编码器是直接的方法。

值得注意的是,这些技术并非相互排斥。例如,可以将去噪与稀疏性约束结合。然而,在实践中,去噪自编码器通常在性能、抗干扰性和实现简便性之间提供良好平衡,适用于许多表示学习任务。随着我们继续学习,尤其是变分自编码器(VAEs),我们将看到控制潜在空间结构和属性的不同方法,通常更明确地侧重于生成能力。

  • Extracting and Composing Robust Features with Denoising Autoencoders, Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, and Yoshua Bengio, 2010 Journal of Machine Learning Research, Vol. 11 DOI: 10.5555/1953048.2078170 - 提出去噪自动编码器,一种通过重构损坏输入来学习鲁棒表示的基础模型。
  • The Contractive Auto-Encoder: An Unsupervised Feature Learning Algorithm for Robust High-Level Feature Representations, Salah Rifai, Pascal Vincent, Xavier Muller, Xavier Glorot, and Yoshua Bengio, 2013 Journal of Machine Learning Research, Vol. 14 (Journal of Machine Learning Research, Inc.) DOI: 10.5555/3104322.3104464 - 本文介绍了收缩自动编码器,这是一种学习对小输入扰动局部不变的表示的方法。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本涵盖深度学习各个方面的基础教科书,包括对自动编码器及其正则化技术的详细解释。

© 2026 ApX Machine Learning