ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

自动编码器与特征学习入门
章节 1: 理解自动编码器
无监督学习简介
神经网络简介
核心思想:学习数据重建
编码器、瓶颈和解码器:主要组成部分
学习数据表示的用途
自动编码器类比
自编码器处理的初步问题
第 1 章测验
章节 2: 自动编码器的构成:编码器与解码器
编码器:数据压缩
输入层的结构
编码器隐藏层与数据压缩
瓶颈:紧凑表示
编码器中常用的激活函数
解码器:数据重建
解码器隐藏层与数据解压
输出层的结构
解码器中常用的激活函数
输入与输出的匹配
第 2 章测验
章节 3: 自动编码器如何学习
训练目标:减少重建误差
自编码器的损失函数 (MSE, BCE)
学习过程:优化基础
数据流:前向传播说明
从错误中学习:反向传播(宏观视角)
训练周期:迭代次数与批次
过拟合与欠拟合初识
构建自编码器的准备工作
第 3 章测验
章节 4: 自编码器与特征学习
数据集中特征的界定
比较人工与学习的特征方法
自编码器如何识别数据内在特征
瓶颈层作为特征提取器
使用自编码器降维
学习到的表示的简单可视化
有效数据表示的作用
第 4 章测验
章节 5: 构建一个基础自动编码器
深度学习的 Python 环境配置
PyTorch和Keras入门
加载并理解一个基础数据集
自动编码器的数据预处理
构建一个简单的自编码器模型
配置模型以进行训练
执行训练过程
评估重建质量
可视化重建输出:动手实践
检查编码数据:实践
第 5 章测验

编码器中常用的激活函数

在自动编码器的编码器部分,每层执行计算(输入乘以权重 (weight)并加上偏置 (bias))后,会应用一个激活函数 (activation function)。可以将激活函数视为每个神经元的简单“把关者”。它决定哪些信息应该传递给下一层。如果没有这些函数,无论我们堆叠多少层,我们的网络都只能学习简单的线性关系。激活函数引入非线性,使得编码器能够从输入数据中学习更复杂的模式和表示。

修正线性单元(简称ReLU)是编码器隐藏层中最常用且效果最好的激活函数之一。

ReLU(修正线性单元)

ReLU函数非常直接。如果函数的输入是正数,它会直接输出该输入值。如果输入是零或负数,则输出零。

从数学角度看,ReLU定义如下:

f(x)=max⁡(0,x)f(x) = \max(0, x)f(x)=max(0,x)

这里 xxx 是神经元的输入。

我们来将其可视化:

ReLU函数在输入为正时直接输出输入值,否则输出零。

那么,为什么ReLU在编码器中如此受欢迎?

  1. 简洁与高效: 它的计算成本非常低。这些操作(最大值比较,然后传递一个值或零)速度很快,从而加快了训练过程。
  2. 减少梯度消失问题: 在更深的网络中,其他一些激活函数 (activation function)(例如sigmoid或tanh,我们稍后将在解码器部分提及)可能会遇到“梯度消失”问题。这意味着学习信号在通过多层反向传播 (backpropagation)时变得非常小,使得前期的层难以学习。对于正输入,ReLU有助于缓解此问题,因为其导数(变化率)是常数(0或1)。这使得学习信号可以更好地流动。
  3. 稀疏性: 由于ReLU对任何负输入都输出零,这可能导致层中的一些神经元“不活跃”(输出零)。这被称为稀疏性。稀疏表示可以更高效,并有助于网络学习更鲜明的特征,因为并非所有神经元都会对每个输入一直处于活跃状态。

在构建编码器时,通常会将ReLU激活函数应用于每个隐藏层的输出。例如,如果编码器中的某个隐藏层为一个神经元计算出值 h1h_1h1​,则传递给下一层的实际输出将是 ReLU(h1)ReLU(h_1)ReLU(h1​)。这个过程在层中的所有神经元以及编码器中后续的隐藏层中重复,每一步都有助于将数据转换成更紧凑和抽象的表示。

尽管ReLU是编码器隐藏层的常用选择,但了解其他激活函数也很重要。例如,像“Leaky ReLU”或“参数 (parameter)化ReLU (PReLU)”这样的变体是为了解决“ReLU死亡”问题而开发的(当神经元的输入总是负数时,它们可能会卡在输出零)。然而,作为入门内容,理解ReLU提供了一个坚实的基础,因为它广泛有效且常用。激活函数的选择会影响自动编码器学习数据压缩的效果和速度。

  • Deep Sparse Rectifier Networks, Xavier Glorot, Antoine Bordes, and Yoshua Bengio, 2011 Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS), Vol. 15 DOI: 10.5555/3104322.3104364 - 本文介绍了修正线性单元(ReLU)激活函数,并展示了其在深度神经网络中的优势,尤其是在处理梯度消失问题方面的作用。
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础教材,提供关于神经网络的广泛信息,详细解释了ReLU等多种激活函数、其属性以及在增加非线性和解决梯度问题方面的功能。

© 2026 ApX Machine Learning