我们已经看到向量如何表示单个数据点或特征(如像素强度、用户评分或传感器测量值),以及矩阵如何表示整个数据集或变换。但是,这些向量协同作用的基本规则是什么?在数学上,这些向量“位于”何处?这就引出了向量空间。可以把向量空间看作是一个对象的集合,这些对象我们称为向量,同时包含两种基本运算:向量加法和标量乘法。要使一个集合符合向量空间的条件,这些运算必须满足一系列特定规则,通常称为公理。这些规则确保了这些运算行为一致且可预测,就像算术规则支配数字一样。为什么这个形式化定义很重要?因为它提供了一个坚实的数学基础。当我们知道数据向量位于向量空间中时,我们便自动知道它们服从这些可靠的规则。这使我们能够构建用于数据分析和机器学习的强大通用技术,这些技术在不同类型的向量数据上都能一致地运行。向量空间公理设 $V$ 是一个向量集合,设 $u, v, w$ 是 $V$ 中的任意向量。设 $c, d$ 是任意标量(在机器学习环境中通常是实数)。为了使 $V$ 成为向量空间,以下十条公理必须成立:向量加法的性质:加法封闭性: 如果 $u$ 和 $v$ 都在 $V$ 中,那么它们的和 $u + v$ 也必须在 $V$ 中。直观理解: 将空间中的两个向量相加,结果仍在该空间内。如果你将表示图像的两个特征向量相加,结果仍应能以相同类型的特征向量格式表示。加法交换律: $u + v = v + u$。直观理解: 向量相加的顺序不影响结果。加法结合律: $(u + v) + w = u + (v + w)$。直观理解: 当添加多个向量时,分组不影响结果。零向量存在性: 在 $V$ 中存在一个唯一的向量 $0$,称为零向量,使得对于 $V$ 中所有的 $u$,都有 $u + 0 = u$。直观理解: 加法存在一个中性元素,就像普通算术中的数字 0。在 $R^n$ 中,它就是全零向量。加法逆元存在性: 对于 $V$ 中的每个向量 $u$,都存在 $V$ 中唯一的向量 $-u$,称为加法逆元,使得 $u + (-u) = 0$。直观理解: 每个向量都有一个“相反”向量,相加时会相互抵消。标量乘法的性质:标量乘法封闭性: 如果 $u$ 在 $V$ 中且 $c$ 是一个标量,那么乘积 $c u$ 也必须在 $V$ 中。直观理解: 缩放向量会使你保持在同一空间内。拉伸或收缩特征向量会产生相同类型的向量。标量乘法结合律: $(cd)u = c(du)$。直观理解: 应用多个标量乘法的顺序不影响。连接加法和标量乘法的性质(分配律):对向量和的分配律: $c(u + v) = cu + cv$。直观理解: 缩放向量的和与对缩放后的向量求和是相同的。对标量和的分配律: $(c + d)u = cu + du$。直观理解: 用标量和缩放向量与对每个标量单独缩放向量后再求和是相同的。标量乘法单位元: $1u = u$,其中 $1$ 是乘法单位标量。直观理解: 将向量乘以标量 1,向量保持不变。典型例子:$R^n$在机器学习中,你最常遇到的向量空间是 $R^n$,即所有具有实数分量的 $n$ 维向量空间。例如,考虑 $R^2$,即所有形如 $[x, y]$ 的向量空间,其中 $x$ 和 $y$ 是实数。这对应于熟悉的二维笛卡尔平面。我们快速验证几个公理:加法封闭性: 如果 $u = [u_1, u_2]$ 和 $v = [v_1, v_2]$ 都在 $R^2$ 中,那么 $u + v = [u_1 + v_1, u_2 + v_2]$。由于 $u_1+v_1$ 和 $u_2+v_2$ 都是实数,因此 $u+v$ 也在 $R^2$ 中。标量乘法封闭性: 如果 $u = [u_1, u_2]$ 在 $R^2$ 中且 $c$ 是一个实标量,那么 $cu = [cu_1, cu_2]$。由于 $cu_1$ 和 $cu_2$ 都是实数,因此 $cu$ 也在 $R^2$ 中。零向量: 零向量是 $[0, 0]$,它显然在 $R^2$ 中。加法逆元: 对于 $u = [u_1, u_2]$,逆元是 $-u = [-u_1, -u_2]$,它也在 $R^2$ 中。你可以验证 $R^2$,以及实际上对于任何正整数 $n$ 的 $R^n$,都满足所有十条公理,只需使用你在第1章中学到的向量加法和标量乘法的标准定义。当我们把数据点表示为 $R^n$ 中的特征向量时,我们就在隐含地在一个向量空间内工作。这意味着在处理数据、构建模型(如线性回归,它很大程度上依赖于向量加法和标量乘法)或分析数据点之间的关系时,我们可以依赖这些性质。理解这些形式化性质是迈向研究子空间、线性独立性、基和维度等更复杂思想的第一步,这些对于分析数据集内部的结构和机器学习算法的行为都非常重要。