在确立了基础自动编码器的基本原理之后，我们现在将讨论几种进阶架构。这些变体旨在提升特征质量，增强鲁棒性，或赋予学习到的表示以特定的理想属性，从而超出标准自动编码器能达到的范畴。

本章将向您介绍：

• 稀疏自动编码器：了解这些模型如何在其隐藏单元激活中引入稀疏性，通常通过向损失函数添加诸如$L_1$正则化器或KL散度约束等惩罚项来实现。这会促使自动编码器学习更具体且可能分离的特征。
• 去噪自动编码器：理解那些训练来从部分损坏的版本$\tilde{x}$中重构干净输入$x$的模型。这个过程迫使自动编码器通过捕获潜在数据流形来学习更鲁棒的特征，而不是简单地学习一个恒等函数。
• 紧缩自动编码器：考察旨在使学习到的特征不受输入中微小变化影响的架构。这是通过向损失函数添加一个惩罚项来实现的，该惩罚项会惩罚编码器输出相对于输入的较大导数。
• 堆叠自动编码器：了解如何通过堆叠多个自动编码器层来构建更深层的自动编码器网络。这些网络通常采用贪婪方式，一次训练一层，以学习复杂性递增的分层特征表示。

本章还包含一个实践环节，您将在其中实现一个去噪自动编码器，以巩固这些思想。