定义向量空间

我们已经看到向量如何表示单个数据点或特征（如像素强度、用户评分或传感器测量值），以及矩阵如何表示整个数据集或变换。但是，这些向量协同作用的基本规则是什么？在数学上，这些向量“位于”何处？这就引出了向量空间。

可以把向量空间看作是一个对象的集合，这些对象我们称为向量，同时包含两种基本运算：向量加法和标量乘法。要使一个集合符合向量空间的条件，这些运算必须满足一系列特定规则，通常称为公理。这些规则确保了这些运算行为一致且可预测，就像算术规则支配数字一样。

为什么这个形式化定义很重要？因为它提供了一个坚实的数学基础。当我们知道数据向量位于向量空间中时，我们便自动知道它们服从这些可靠的规则。这使我们能够构建用于数据分析和机器学习的强大通用技术，这些技术在不同类型的向量数据上都能一致地运行。

向量空间公理

设 $V$ 是一个向量集合，设 $u, v, w$ 是 $V$ 中的任意向量。设 $c, d$ 是任意标量（在机器学习环境中通常是实数）。为了使 $V$ 成为向量空间，以下十条公理必须成立：

向量加法的性质：

1. 加法封闭性： 如果 $u$ 和 $v$ 都在 $V$ 中，那么它们的和 $u + v$ 也必须在 $V$ 中。

   • 直观理解： 将空间中的两个向量相加，结果仍在该空间内。如果你将表示图像的两个特征向量相加，结果仍应能以相同类型的特征向量格式表示。

2. 加法交换律： $u + v = v + u$。

   • 直观理解： 向量相加的顺序不影响结果。

3. 加法结合律： $(u + v) + w = u + (v + w)$。

   • 直观理解： 当添加多个向量时，分组不影响结果。

4. 零向量存在性： 在 $V$ 中存在一个唯一的向量 $0$，称为零向量，使得对于 $V$ 中所有的 $u$，都有 $u + 0 = u$。

   • 直观理解： 加法存在一个中性元素，就像普通算术中的数字 0。在 $R^n$ 中，它就是全零向量。

5. 加法逆元存在性： 对于 $V$ 中的每个向量 $u$，都存在 $V$ 中唯一的向量 $-u$，称为加法逆元，使得 $u + (-u) = 0$。

   • 直观理解： 每个向量都有一个“相反”向量，相加时会相互抵消。

标量乘法的性质：

6. 标量乘法封闭性： 如果 $u$ 在 $V$ 中且 $c$ 是一个标量，那么乘积 $c u$ 也必须在 $V$ 中。

   • 直观理解： 缩放向量会使你保持在同一空间内。拉伸或收缩特征向量会产生相同类型的向量。

7. 标量乘法结合律： $(cd)u = c(du)$。

   • 直观理解： 应用多个标量乘法的顺序不影响。

连接加法和标量乘法的性质（分配律）：

8. 对向量和的分配律： $c(u + v) = cu + cv$。

   • 直观理解： 缩放向量的和与对缩放后的向量求和是相同的。

9. 对标量和的分配律： $(c + d)u = cu + du$。

   • 直观理解： 用标量和缩放向量与对每个标量单独缩放向量后再求和是相同的。

10. 标量乘法单位元： $1u = u$，其中 $1$ 是乘法单位标量。

    • 直观理解： 将向量乘以标量 1，向量保持不变。

典型例子：$R^n$

在机器学习中，你最常遇到的向量空间是 $R^n$，即所有具有实数分量的 $n$ 维向量空间。

例如，考虑 $R^2$，即所有形如 $[x, y]$ 的向量空间，其中 $x$ 和 $y$ 是实数。这对应于熟悉的二维笛卡尔平面。我们快速验证几个公理：

• 加法封闭性： 如果 $u = [u_1, u_2]$ 和 $v = [v_1, v_2]$ 都在 $R^2$ 中，那么 $u + v = [u_1 + v_1, u_2 + v_2]$。由于 $u_1+v_1$ 和 $u_2+v_2$ 都是实数，因此 $u+v$ 也在 $R^2$ 中。
• 标量乘法封闭性： 如果 $u = [u_1, u_2]$ 在 $R^2$ 中且 $c$ 是一个实标量，那么 $cu = [cu_1, cu_2]$。由于 $cu_1$ 和 $cu_2$ 都是实数，因此 $cu$ 也在 $R^2$ 中。
• 零向量： 零向量是 $[0, 0]$，它显然在 $R^2$ 中。
• 加法逆元： 对于 $u = [u_1, u_2]$，逆元是 $-u = [-u_1, -u_2]$，它也在 $R^2$ 中。

你可以验证 $R^2$，以及实际上对于任何正整数 $n$ 的 $R^n$，都满足所有十条公理，只需使用你在第1章中学到的向量加法和标量乘法的标准定义。

当我们把数据点表示为 $R^n$ 中的特征向量时，我们就在隐含地在一个向量空间内工作。这意味着在处理数据、构建模型（如线性回归，它很大程度上依赖于向量加法和标量乘法）或分析数据点之间的关系时，我们可以依赖这些性质。

理解这些形式化性质是迈向研究子空间、线性独立性、基和维度等更复杂思想的第一步，这些对于分析数据集内部的结构和机器学习算法的行为都非常重要。