趋近智
自动编码器与表示学习
章节 1: 表示学习的基本原理
无监督学习原理回顾
线性降维的局限性
流形学习方法简介
非线性特征提取的需求
信息瓶颈理论基础
数学基础知识回顾
章节 2: 经典自动编码器架构
编码器网络设计
瓶颈层
解码器网络设计
重建损失函数
基础自编码器的数学公式表示
实现考量与框架
搭建简单自编码器：实践操作
章节 3: 正则化自动编码器：构建稳固表示
处理自编码器中的过拟合
稀疏自编码器：L1 和 KL 散度
去噪自编码器架构与训练
收缩自编码器公式
正则化技术的比较
实施去噪自编码器：动手实践
实现稀疏自编码器：实践操作
章节 4: 变分自编码器用于生成式建模
确定性自动编码器的生成局限
概率编码器与解码器
隐变量模型视角
重参数化技巧的解释
推导证据下界（ELBO）
KL散度项分析
变分自编码器中的重构损失项
条件变分自编码器 (CVAE)
实现图像生成变分自编码器：实践
章节 5: 进阶自动编码器结构
用于空间数据的卷积自编码器
循环自编码器处理序列数据
对抗性自编码器（AAEs）
向量量化变分自编码器 (VQ-VAEs)
基于Transformer的自编码器概述
比较高级架构
卷积自编码器的实现：动手操作
章节 6: 理解和操纵潜在空间
使用 t-SNE 和 UMAP 可视化潜在空间
学习所得表征的特性
解耦表示理论
促进解缠的方法
潜在空间中的插值与遍历
潜在空间中的算术运算
评估表示质量的指标
潜在空间可视化与分析：实操篇
章节 7: 应用与训练策略
自编码器用于异常检测
降维和数据压缩的应用
自动编码器用于深度网络预训练
图像去噪和修补应用
序列到序列自编码器概述
高级优化算法
学习率计划与调整
超参数调优策略
使用自编码器进行异常检测：实践
学习率计划与调整
这部分内容有帮助吗？
- Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础教科书，全面涵盖了深度学习原理，包括优化算法、梯度下降以及动态学习率调整的基本原理。
- SGDR: Stochastic Gradient Descent with Warm Restarts, Ilya Loshchilov, Frank Hutter, 2017 International Conference on Learning Representations DOI: 10.48550/arXiv.1608.03983 - 介绍了带有热重启的余弦退火概念，这是一种学习率调度技术，常能在深度学习训练中取得更优异的表现。
- A Disciplined Approach to Neural Network Hyper-parameters: Part 1 -- Learning Rate, Batch Size, Momentum, and Weight Decay, Leslie N. Smith, 2018 arXiv preprint arXiv:1803.09820 (US Naval Research Laboratory) DOI: 10.48550/arXiv.1803.09820 - 为神经网络超参数设置提供了实用指南，其中包括学习率调度的系统策略，例如结合预热和退火的One-Cycle策略。
- How to adjust learning rate, PyTorch Documentation, 2023 (PyTorch) - PyTorch官方文档，提供了在PyTorch深度学习框架中实现各种学习率调度器的实用指南和示例。