机器学习中的函数和模型

机器学习 (machine learning)模型的核心，是一种旨在从数据中学习模式的数学构造。看待许多监督学习 (supervised learning)模型，最直接的方法是将其视为函数。正如一个数学函数 $f(x) = y$ 接收输入 $x$ 并生成输出 $y$ 一样，机器学习模型接收输入数据（特征）并生成输出（预测或决策）。

输入、输出和参数 (parameter)

我们来分解这些组成部分：

1. 输入（特征）： 这些是你输入模型的数据的可测量属性。如果你正在预测房价，输入可能包含房屋的面积、卧室数量和房龄。在机器学习 (machine learning)中，我们常将这些输入表示为一个向量 (vector)，通常用 $x$ 表示。向量中的每个元素对应一个特定特征。例如，$x = [ \text{面积}, \text{卧室数量}, \text{房龄} ]$。

2. 输出（预测）： 这是模型根据输入生成的结果。对于房价预测，输出将是预测价格（一个连续值）。对于图像分类，它可能是一个标签，例如“猫”或“狗”（一个离散类别），或是每个类别的概率。我们常将模型的预测表示为 $\hat{y}$（读作“y-hat”），以与真实目标值 $y$ 区分开。

3. 模型参数： 这些是模型从训练数据中学习到的内部变量。它们定义了从输入到输出的特定转换。可以将它们视为在训练过程中调整的“旋钮”，使模型的预测 $\hat{y}$ 尽可能接近实际目标值 $y$。参数常以希腊字母表示，例如 $\theta$（theta），或特定符号，如表示权重 (weight)的 $w$ 和表示偏差的 $b$。

作为函数的模型：$f(x; \theta)$

我们可以使用函数表示法来表达输入、参数 (parameter)和输出之间的关系：

$$\hat{y} = f(x; \theta)$$

这个等式表明预测 $\hat{y}$ 由函数 $f$ 生成，该函数接收输入特征 $x$ 并由参数 $\theta$ 进行配置。函数 $f$ 的具体形式定义了模型的类型。

示例：简单线性回归

考虑最简单的模型之一：具有单个输入特征的线性回归。目标是找到一条最能拟合输入 $x$（例如，工作年限）与输出 $y$（例如，薪资）之间关系的直线。

此模型的函数就是一条直线的方程：

$$\hat{y} = w x + b$$

这里：

• $x$ 是单个输入特征（工作年限）。
• $\hat{y}$ 是预测输出（薪资）。
• $w$（权重 (weight)）和 $b$（偏差）是模型参数 $\theta = \{w, b\}$。它们分别代表直线的斜率和y轴截距。

学习过程包括寻找 $w$ 和 $b$ 的最佳值，使预测薪资 $\hat{y}$ 与训练数据中的实际薪资 $y$ 紧密匹配。

一个简单的线性回归模型 $f(x; w, b) = wx + b$，表示为拟合数据点的直线。参数 $w$ 和 $b$ 定义了直线的斜率和截距。

线性模型

虽然线性回归提供了一个清晰的示例，但这种函数表示方法适用于远为复杂的模型：

• 逻辑回归： 用于分类，它将 S 型函数应用于输入的线性组合以生成概率。它仍然是一个函数 $f(x; \theta)$。
• 神经网络 (neural network)： 这些本质上是函数的复杂组合（层），其中每层应用线性变换和非线性激活函数 (activation function)。整个网络可以被视为一个复杂的函数 $f(x; \theta)$，其中 $\theta$ 包含所有层的所有权重和偏差。

"将模型视为函数 $f(x; \theta)$ 来理解是根本。它将机器学习 (machine learning)任务构筑为为所选函数 $f$ 寻找最佳参数 $\theta$，以使其输出 $\hat{y}$ 准确地反映结果 $y$。这种视角自然引出了优化的思路，我们需要工具来衡量 $\theta$ 的变化如何影响模型的性能。这正是微积分，特别是导数和梯度，变得不可或缺的地方，正如我们将在接下来的章节中看到的。"