比较人工与学习的特征方法

当我们构建机器学习模型时，输入数据的质量至关重要。更具体地说，从原始数据中提取的特征在模型学习和做出准确预测的能力方面扮演着重要角色。如您所知，自编码器特别擅长从数据中学习有意义的表示，即特征。但这种自动化方法与传统的特征构建方式相比如何呢？让我们看一下两种主要思路：人工特征工程和学习特征方法。

人工特征工程：匠人方法

多年来，为机器学习模型准备数据的标准方式涉及人工特征工程。这个过程高度依赖于人类专业知识和领域知识。想象一下您正在尝试预测房价。一位领域专家，例如房地产经纪人或经济学家，会手动构建他们认为有影响的特征。

它包含什么？ 人工特征工程是一个复杂过程，数据科学家或领域专家会执行以下步骤：

1. 分析原始数据： 这可以是图像、文本、传感器读数乃至客户交易记录等任何形式。
2. 运用领域知识： 他们利用对问题区域的理解来推测数据的哪些方面是重要的。例如，在预测房价时，平方英尺、卧室数量或房屋年龄等特征是显而易见的起点。更复杂的特征可能包括社区犯罪率或到最近学校的距离。对于图像数据，专家可能会判断边缘或特定纹理的存在很重要。
3. 转换原始数据： 他们编写代码或使用工具来提取这些特定的信息片段，并将其转换为模型可以理解的数值格式。这可能涉及计算、组合现有数据点或应用特定算法（例如，计算文本数据中词语的频率）。
4. 迭代和优化： 这很少是一次性完成的过程。专家经常尝试不同的特征，评估模型性能，然后回去创建新的或修改现有的特征。

人工特征的例子：

• 对于图像数据： 颜色直方图、SIFT（尺度不变特征转换）特征、HOG（方向梯度直方图）特征。
• 对于文本数据： 词频、TF-IDF（词频-逆文档频率）分数、n-gram（N个词的序列）。
• 对于交易数据： 平均交易值、购买频率、上次购买至今的时间。

优点：

• 融合人类洞察： 运用对特定问题领域的深刻理解。
• 可解释性可能较高： 由于特征是人类设计的，它们的含义和重要性通常可以清楚地理解。例如，如果一个使用卧室数量的模型在预测房价时高度依赖此特征，那么很容易理解原因。

缺点：

• 耗时费力： 设计、实现和测试特征可能需要大量时间和精力。
• 需要深厚的领域专业知识： 特征的质量高度依赖于创建者的知识和技能。这种专业知识可能并非总是容易获得。
• 可能遗漏复杂模式： 人类可能无法识别或表述数据中隐藏的非常复杂、非线性的关系。
• 脆弱性： 为特定数据集或问题设计的特征可能无法很好地推广到新的、略有不同的数据。
• 可扩展性问题： 对于高维数据，如高分辨率图像或大量传感器日志，手动定义特征可能变得难以管理。

学习特征方法：自编码器的方式

与手动方法相反，学习特征方法将特征创建的责任从人类转移到机器学习模型本身。自编码器，正如我们正在发现的，是这方面的一个典型例子。

自编码器如何学习特征？ 回顾自编码器的架构：一个编码器、一个瓶颈层和一个解码器。

• 编码器接收输入数据并将其压缩为低维表示。
• 这个压缩表示存在于瓶颈层中。
• 解码器随后尝试从瓶颈层中的这个压缩表示中重建原始输入数据。

其奥妙在于自编码器经过训练以最小化重建误差（原始输入和重建输出之间的差异）。为了做到这一点，尤其是在瓶颈层远小于输入时，编码器必须学习保留数据中最重要的、最显著的信息，并将其存入紧凑的瓶颈表示中。这些凝练、信息丰富的瓶颈表示，本质上就是学习特征。网络自动找出数据中哪些属性值得保留以实现良好的重建。

优点：

• 自动发现： 特征直接从数据中学习，减少了大量人工工作以及设计特征所需的深厚、预先存在的领域知识。
• 能够捕捉复杂模式： 神经网络，包括自编码器，可以识别数据中人类工程师可能无法察觉的复杂、非线性关系。
• 适应性强： 通常可以通过重新训练来适应不同类型的数据或数据分布的变化，而无需完全重新设计特征工程流程。
• 可扩展性： 通常比手动方法更有效地处理高维数据。

缺点：

• 可解释性较低： 自编码器学习到的特征（瓶颈层中的值）通常是原始输入的复杂组合。为每个学习到的特征赋予清晰、人类可理解的含义可能具有挑战性。它们可能感觉像一个“黑箱”。
• 需要大量数据： 深度学习模型，包括自编码器，通常需要大量数据才能学习到有效的特征。
• 计算成本： 训练这些模型可能计算密集且耗时，对于大型数据集需要强大的硬件（如GPU）。
• 模型依赖性： 学习特征的质量很大程度上取决于自编码器的架构、训练过程和选择的超参数。

可视化两种途径

下图说明了人工特征工程与使用自编码器学习特征方法之间工作流程的根本差异。

此图对比了由人类专业知识驱动的手动过程，与自编码器在其瓶颈层中学习特征的自动化过程。这些学习到的特征随后可用于重建或其他机器学习任务。

一览：人工与学习的特征

为了使区别更清晰，这里提供一个并排比较：

方面	人工特征工程	学习特征方法（例如，自编码器）
创建过程	人类驱动，依赖领域知识和直觉。	数据驱动，模型在训练期间自动学习特征。
时间与精力	设计和迭代可能非常耗时。	人工特征设计工作较少；训练可能耗时。
所需专业知识	高领域专业知识，特征工程技能。	机器学习模型构建、数据处理和超参数调优技能。
可解释性	特征通常可以直接解释。	学习到的特征可能抽象且难以解释。
模式发现	受限于人类感知或定义模式的能力。	能够发现复杂、不显眼、不明显的模式。
对新数据的可扩展性	可能需要为不同数据集重新设计特征。	模型通常可以重新训练或适应新数据。
数据要求	有时可以有效地处理较小的数据集。	通常需要更大的数据集才能实现最佳特征学习。
客观性	可能受人类偏见或假设影响。	特征基于数据模式学习，可能更客观。

哪种方法“更好”？

两种方法都不是普遍更优的。选择通常取决于具体问题、可用数据的数量和类型、可解释性的重要性以及现有资源。

• 人工特征工程仍然可以非常有效，尤其是在以下情况：

  • 您拥有可以指导创建高度相关特征的强大领域知识。
  • 数据集相对较小，使得复杂模型难以从头开始学习有意义的特征。
  • 特征和模型的可解释性是主要要求。

• 学习特征（如自编码器产生的特征）特别有优势，尤其是在以下情况：

  • 处理大型、高维数据集（例如图像、音频、复杂传感器数据）时，人工工程不切实际。
  • 数据中的底层模式过于复杂，人类难以轻易识别和编码。
  • 目标是最大化预测性能，即使这意味着牺牲部分可解释性。

在实践中，您甚至可能会看到混合方法。例如，一些基本的人工构建特征可以输入到神经网络中，然后神经网络在此基础上学习更抽象的表示。

理解人工和学习的特征方法使您在解决机器学习问题时能够做出更明智的决策。随着我们课程的深入，我们将更多地侧重于自编码器如何特别擅长自动学习这些有用的表示，这为降维和异常检测等任务奠定了基础。