ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

应用自动编码器进行特征提取
章节 1: 回顾神经网络与降维方法
神经网络组成部分:快速回顾
高维数据的难题
降维方法概述
线性与非线性降维的比较
机器学习流程中特征提取的作用
配置深度学习环境
实践:PCA降维操作
第 1 章测验
章节 2: 理解自编码器:基本原理
自编码器的定义:基本构造
编码器:信息压缩
瓶颈层:潜在空间表示
解码器:重构原始数据
衡量重建质量:损失函数
欠完备与过完备自动编码器
自动编码器的训练过程
自编码器如何发现有意义的特征
动手实践:构建一个基础自编码器
第 2 章测验
章节 3: 构建你的第一个用于特征提取的自动编码器
自编码器训练的数据准备
编码器网络设计考量
确定潜在空间维度
解码器网络设计策略
为自编码器选择合适的损失函数
优化器选择和学习率配置
监控自动编码器训练进程
从瓶颈层提取特征的方法
潜在空间可视化(适用时)
实践:从表格数据中获取特征
第 3 章测验
章节 4: 进阶自动编码器架构
稀疏自编码器:实现表示的稀疏化
稀疏自编码器的正则化方法
去噪自编码器:从含噪声输入中学习
去噪自编码器的实现
紧缩自编码器:原理与正则化
堆叠式自编码器:构建深度架构
堆叠自编码器的分层训练
动手实践:实现去噪自编码器
第 4 章测验
章节 5: 图像数据的卷积自编码器
为何全连接自编码器在图像处理中表现不足
卷积层在自动编码器编码器中的作用
使用池化层进行空间降采样
解码器中的转置卷积层
解码器中的上采样技术
构建卷积自编码器模型
使用卷积自编码器提取分层特征
实践:用于图像特征的卷积自编码器
第 5 章测验
章节 6: 变分自编码器(VAEs)与结构化潜在空间
基于自编码器的生成模型介绍
变分自编码器构成
VAE编码器:输出分布参数
重参数化技巧解释
VAE解码器:从潜在样本生成数据
VAE损失函数:平衡重建与正则化
VAE 潜在空间的特点
使用VAE潜在表示作为特征
实作:构建变分自编码器并检验其潜在空间
第 6 章测验
章节 7: 自编码器特征的使用与实践指引
选择合适的自编码器类型
超参数调整以实现最佳性能
评估提取特征质量的方法
将自编码器特征用于监督模型
应用:使用自编码器特征进行异常检测
应用:使用自编码器进行数据压缩
自编码器的迁移学习方法
应对常见实施难题
实践:在分类任务中运用自编码器特征
第 7 章测验

机器学习流程中特征提取的作用

高维数据会带来很大的挑战,这常被称为“维度灾难”。为解决这些挑战,多种维度降低的方法被广泛使用。特征提取是任何机器学习 (machine learning)(ML)项目中一项密切相关且不可或缺的工作。理解其在整个ML流程中的位置是主要关注点。

原始数据,以其最初形态,通常未经机器学习算法优化。它可能包含不相关信息、冗余,或者结构不便于模型有效学习。特征提取是将这些原始数据转换为一组数值特征的过程,这些特征能更好地表示问题中的潜在模式,以供预测模型使用。目标是创建信息量大、区分度高、能带来更好模型性能、更简单模型和更快计算速度的特征。

将特征提取与特征选择区分开来很有用。特征选择是指从原始特征中选择一个子集,并丢弃其余部分。相比之下,特征提取是从原始集合中创建新特征,通常通过组合或转换它们。这些新特征可以提供数据更简洁且更有效的表示。特征工程是一个更广义的术语,它包括特征提取和特征选择,以及基于专业知识的手动特征创建。在本课程中,我们的主要侧重将是特征提取,具体是使用自编码器来自动学习这些转换。

特征提取为何重要

有效的特征提取通常是ML项目成功的决定因素。以下是它扮演如此重要作用的原因:

  1. 提升模型性能:模型从特征中学习。如果特征嘈杂、不相关或不能很好地表示问题,即使最精密的算法也会遇到困难。另一方面,设计良好的特征可以使数据中的模式更明显,从而让模型更有效地学习,并获得更高准确性或对未见数据有更好的泛化能力。

  2. 减少过拟合 (overfitting):当模型过于学习训练数据的噪声和特定特点时,就会发生过拟合,导致在新、未见数据上性能不佳。通过将数据转换为更相关且可能维度更低的特征集合,特征提取可以帮助降低模型复杂度并缓解过拟合。它促使模型关注信号而非噪声。

  3. 计算效率:使用更少但信息量更大的特征集合,可以明显减少模型训练和推理 (inference)所需的计算资源。特征越少,意味着内存占用越低,处理时间越快,这在处理大型数据集或在资源受限环境中部署模型时尤其有益。

  4. 增强数据理解:虽然自编码器等复杂模型提取的特征可能不像原始变量那样总是直接可解释,但特征提取过程通常涉及考察和了解数据结构。可视化提取的特征(如果可能)也可以提供对数据中关系的理解。

  5. 处理不同数据类型:特征提取技术可以针对不同类型数据进行定制。例如,针对文本、图像或时间序列数据使用特定方法,将其转换为ML模型可以处理的合适数值表示。

机器学习 (machine learning)流程中的特征提取

特征提取并非孤立的步骤;它是典型机器学习工作流的组成部分。了解它所在的位置,可以帮助你认识它对后续阶段的影响。

一个典型的机器学习流程,突出显示了特征提取阶段。反馈循环表明迭代优化。

如图所示:

  • 在初步数据收集和预处理(包括清理缺失值和数值数据缩放等任务)之后,通常会进行特征提取。
  • 然后将新的工程特征输入到机器学习模型中进行训练。
  • 模型性能会被评估。如果结果不满意,你可能会重新审视特征提取步骤(或其他前置步骤),以优化特征、选择不同技术或调整参数 (parameter)。这种迭代过程在ML开发中很常见。

你已经遇到过主成分分析(PCA),作为一种维度降低的线性方法,它是一种特征提取形式。PCA找到作为原始特征线性组合的主成分。虽然对许多数据集都有效,但PCA的线性特点在处理数据中复杂、非线性关系时会成为一种局限。

自编码器是本课程的核心内容,它们正是在这里发挥作用的。自编码器是神经网络 (neural network),它们学习强大、通常非线性的特征表示。它们通过学习重建输入数据,将其通过一个压缩的“瓶颈”层来实现这一点。此瓶颈层中的表示用作提取的特征。随着我们学习的推进,你将学会如何构建各种类型的自编码器,并使用它们为一系列机器学习任务提取有意义的特征,相比传统线性方法更为先进。准备你的深度学习 (deep learning)环境,这将在下一节讲到,是实现这些高级技术的第一步。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础性教科书,全面介绍了深度学习,涵盖了神经网络、表示学习以及包括自动编码器在内的无监督学习方法。
  • Reducing the Dimensionality of Data with Neural Networks, Geoffrey E. Hinton and Ruslan R. Salakhutdinov, 2006 Science, Vol. 313 (American Association for the Advancement of Science) DOI: 10.1126/science.1127647 - 这篇开创性论文介绍了深度自动编码器作为一种有效的非线性降维和无监督特征学习方法,对该领域产生了深远影响。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, Jerome Friedman, 2009 (Springer) DOI: 10.1007/978-0-387-84858-7 - 一本全面的统计学习参考书,涵盖了维度灾难、各种降维技术(例如PCA)以及机器学习管道的通用方法。第二版。

© 2026 ApX Machine Learning