趋近智
自动编码器与表示学习
章节 1: 表示学习的基本原理
无监督学习原理回顾
线性降维的局限性
流形学习方法简介
非线性特征提取的需求
信息瓶颈理论基础
数学基础知识回顾
章节 2: 经典自动编码器架构
编码器网络设计
瓶颈层
解码器网络设计
重建损失函数
基础自编码器的数学公式表示
实现考量与框架
搭建简单自编码器：实践操作
章节 3: 正则化自动编码器：构建稳固表示
处理自编码器中的过拟合
稀疏自编码器：L1 和 KL 散度
去噪自编码器架构与训练
收缩自编码器公式
正则化技术的比较
实施去噪自编码器：动手实践
实现稀疏自编码器：实践操作
章节 4: 变分自编码器用于生成式建模
确定性自动编码器的生成局限
概率编码器与解码器
隐变量模型视角
重参数化技巧的解释
推导证据下界（ELBO）
KL散度项分析
变分自编码器中的重构损失项
条件变分自编码器 (CVAE)
实现图像生成变分自编码器：实践
章节 5: 进阶自动编码器结构
用于空间数据的卷积自编码器
循环自编码器处理序列数据
对抗性自编码器（AAEs）
向量量化变分自编码器 (VQ-VAEs)
基于Transformer的自编码器概述
比较高级架构
卷积自编码器的实现：动手操作
章节 6: 理解和操纵潜在空间
使用 t-SNE 和 UMAP 可视化潜在空间
学习所得表征的特性
解耦表示理论
促进解缠的方法
潜在空间中的插值与遍历
潜在空间中的算术运算
评估表示质量的指标
潜在空间可视化与分析：实操篇
章节 7: 应用与训练策略
自编码器用于异常检测
降维和数据压缩的应用
自动编码器用于深度网络预训练
图像去噪和修补应用
序列到序列自编码器概述
高级优化算法
学习率计划与调整
超参数调优策略
使用自编码器进行异常检测：实践
基于Transformer的自编码器概述
这部分内容有帮助吗？
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems DOI: 10.48550/arXiv.1706.03762 - 介绍了Transformer架构及其自注意力机制，这些是讨论的自编码器的基础。
- An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale, Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby, 2021 International Conference on Learning Representations (ICLR) DOI: 10.48550/arXiv.2010.11929 - 介绍了Vision Transformer (ViT) 架构，为MAE在计算机视觉中的应用提供了背景。