趋近智
自动编码器与表示学习
章节 1: 表示学习的基本原理
无监督学习原理回顾
线性降维的局限性
流形学习方法简介
非线性特征提取的需求
信息瓶颈理论基础
数学基础知识回顾
章节 2: 经典自动编码器架构
编码器网络设计
瓶颈层
解码器网络设计
重建损失函数
基础自编码器的数学公式表示
实现考量与框架
搭建简单自编码器：实践操作
章节 3: 正则化自动编码器：构建稳固表示
处理自编码器中的过拟合
稀疏自编码器：L1 和 KL 散度
去噪自编码器架构与训练
收缩自编码器公式
正则化技术的比较
实施去噪自编码器：动手实践
实现稀疏自编码器：实践操作
章节 4: 变分自编码器用于生成式建模
确定性自动编码器的生成局限
概率编码器与解码器
隐变量模型视角
重参数化技巧的解释
推导证据下界（ELBO）
KL散度项分析
变分自编码器中的重构损失项
条件变分自编码器 (CVAE)
实现图像生成变分自编码器：实践
章节 5: 进阶自动编码器结构
用于空间数据的卷积自编码器
循环自编码器处理序列数据
对抗性自编码器（AAEs）
向量量化变分自编码器 (VQ-VAEs)
基于Transformer的自编码器概述
比较高级架构
卷积自编码器的实现：动手操作
章节 6: 理解和操纵潜在空间
使用 t-SNE 和 UMAP 可视化潜在空间
学习所得表征的特性
解耦表示理论
促进解缠的方法
潜在空间中的插值与遍历
潜在空间中的算术运算
评估表示质量的指标
潜在空间可视化与分析：实操篇
章节 7: 应用与训练策略
自编码器用于异常检测
降维和数据压缩的应用
自动编码器用于深度网络预训练
图像去噪和修补应用
序列到序列自编码器概述
高级优化算法
学习率计划与调整
超参数调优策略
使用自编码器进行异常检测：实践
自动编码器用于深度网络预训练
这部分内容有帮助吗？
- Reducing the Dimensionality of Data with Neural Networks, Geoffrey E. Hinton, Ruslan R. Salakhutdinov, 2006 Science, Vol. 313 (American Association for the Advancement of Science) DOI: 10.1126/science.1127647 - 介绍了深度自编码器和无监督预训练在降维和初始化深度网络方面有效性的基础论文。
- Extracting and Composing Robust Features with Denoising Autoencoders, Pascal Vincent, Hugo Larochelle, Yoshua Bengio, Pierre-Antoine Manzagol, 2008 Proceedings of the 25th International Conference on Machine Learning (ICML) (ACM Press) DOI: 10.1145/1390156.1390294 - 介绍了去噪自编码器（DAE），这是一种学习鲁棒表示的特殊自编码器，常用于端到端预训练。
- Deep Learning, Ian Goodfellow, Yoshua Bengio, Aaron Courville, 2016 (MIT Press) - 一本涵盖深度学习理论基础和实际应用的综合教材，包含自编码器及其在预训练中历史作用的详细章节。
- Masked Autoencoders Are Scalable Vision Learners, Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick, 2022 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) - 介绍了掩码自编码器（MAE），这是自监督学习的一个重要进展，它利用自编码方法通过重建被掩码的图像块来学习强大的视觉表示。