在前几节中,我们研究了向量如何进行组合(线性组合),以及一组向量如何生成整个空间或子空间(张成空间)。我们还考察了集合中的向量何时是多余的(线性相关),以及何时每个向量都提供独特的方向信息(线性无关)。现在,我们将这些知识结合起来,以阐明描述向量空间最有效的方法:使用一个基。可以把基视为向量空间的基本构成单元或坐标系统。它是达到该空间中任何点所需的最小方向集合,且这些方向中的任何一个都不能用其他方向表示出来。什么是基?在向量空间$V$中,一组向量$B = { \mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n }$被称为$V$的基,如果它满足以下两个条件:线性无关性: $B$中的向量是线性无关的。这意味着集合中没有任何向量可以写成集合中其他向量的线性组合。每个向量都提供独特的方向信息。方程$c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_n\mathbf{v}_n = \mathbf{0}$的唯一解是$c_1 = c_2 = \dots = c_n = 0$。张成性质: 集合$B$张成向量空间$V$。这意味着$V$中的每个向量$\mathbf{w}$都可以表示为$B$中向量的线性组合。也就是说,对于任何$\mathbf{w} \in V$,都存在标量$c_1, c_2, \dots, c_n$,使得$\mathbf{w} = c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \dots + c_n\mathbf{v}_n$。如果一组向量张成空间但不线性无关,则它包含冗余向量。如果它线性无关但不能张成空间,则无法描述该空间内的所有向量。基实现了恰当的平衡。例子:标准基最常见的例子是$\mathbb{R}^n$的标准基。对于$\mathbb{R}^2$,标准基是${ \mathbf{e}_1, \mathbf{e}_2 } = { [1, 0]^T, [0, 1]^T }$。这两个向量显然线性无关(彼此都不是对方的倍数),并且任何向量$[x, y]^T$都可以写成$x\mathbf{e}_1 + y\mathbf{e}_2$。对于$\mathbb{R}^3$,标准基是${ \mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3 } = { [1, 0, 0]^T, [0, 1, 0]^T, [0, 0, 1]^T }$。同样,它们是线性无关的,并且任何向量$[x, y, z]^T$都可以写成$x\mathbf{e}_1 + y\mathbf{e}_2 + z\mathbf{e}_3$。{ "layout": { "margin": { "l": 20, "r": 20, "t": 20, "b": 20 }, "xaxis": { "range": [-1.5, 1.5], "title": "X轴", "zeroline": true, "showgrid": false }, "yaxis": { "range": [-1.5, 1.5], "title": "Y轴", "scaleanchor": "x", "scaleratio": 1, "zeroline": true, "showgrid": false }, "annotations": [ { "x": 1, "y": 0, "ax": 0, "ay": 0, "xref": "x", "yref": "y", "axref": "x", "ayref": "y", "showarrow": true, "arrowhead": 2, "arrowsize": 1.5, "arrowwidth": 2, "arrowcolor": "#4263eb" }, { "x": 0, "y": 1, "ax": 0, "ay": 0, "xref": "x", "yref": "y", "axref": "x", "ayref": "y", "showarrow": true, "arrowhead": 2, "arrowsize": 1.5, "arrowwidth": 2, "arrowcolor": "#f03e3e" }, { "x": 1.1, "y": 0.1, "text": "<b>e</b><sub>1</sub>", "showarrow": false, "font": { "color": "#4263eb" } }, { "x": 0.1, "y": 1.1, "text": "<b>e</b><sub>2</sub>", "showarrow": false, "font": { "color": "#f03e3e" } } ], "showlegend": false }, "data": [] }$\mathbb{R}^2$中的标准基向量$\mathbf{e}_1$(蓝色)和$\mathbf{e}_2$(红色)。它们是正交的,长度为单位,并张成整个二维平面。非标准基一个向量空间可以有许多不同的基。例如,在$\mathbb{R}^2$中,集合$B' = { [1, 1]^T, [1, -1]^T }$也是一个基。线性无关性: 令$c_1[1, 1]^T + c_2[1, -1]^T = [0, 0]^T$。这得到方程组$c_1 + c_2 = 0$和$c_1 - c_2 = 0$。唯一解是$c_1 = 0, c_2 = 0$。因此,它们是线性无关的。张成性: 我们需要表明任何向量$[x, y]^T$都可以写成$c_1[1, 1]^T + c_2[1, -1]^T$。这导致方程组$c_1 + c_2 = x$和$c_1 - c_2 = y$。求解后得到$c_1 = (x+y)/2$和$c_2 = (x-y)/2$。由于我们可以为任何$x, y$找到$c_1, c_2$,所以该集合张成$\mathbb{R}^2$。由于两个条件都成立,$B'$是$\mathbb{R}^2$的一个有效基。表示的唯一性基的定义带来一个重要特性,即空间$V$中的每个向量都可以表示为基向量的唯一线性组合。如果表示不唯一,就意味着可以通过不止一种方式组合基向量以获得相同的目标向量,这将与线性无关性要求相悖。与基$B$相关的这组唯一系数$(c_1, c_2, \dots, c_n)$构成了向量$\mathbf{w}$相对于该基的坐标。维数向量空间的一个基本属性是,给定向量空间的所有基都包含相同数量的向量。这个相同的数量被称为向量空间的维数,通常表示为$\text{dim}(V)$。$\mathbb{R}^2$的维数是2,因为它的基(如标准基或$B'$)包含两个向量。$\mathbb{R}^3$的维数是3。通常,$\mathbb{R}^n$的维数是$n$。$\mathbb{R}^3$中通过原点的平面是维数为2的子空间。$\mathbb{R}^3$中通过原点的直线是维数为1的子空间。只包含零向量${\mathbf{0}}$的空间维数为0(根据规定,它有一个空基)。如果一个向量空间不能由有限组向量张成,它被称为无限维的。函数空间通常属于此类,但在大多数涉及特征向量的典型机器学习情况中,我们处理的是有限维向量空间。与机器学习的关联理解基和维数在机器学习中具有多方面作用,原因如下:特征空间解释: 数据集所有可能的特征向量集合通常形成一个向量空间(或其子集)。这个空间(或相关子空间)的维数对应于特征的数量,更准确地说,是描述数据所需的独立特征的数量。降维: 像主成分分析(PCA)这样的技术明确地寻找一个低维基(子空间的基),该基能够捕捉原始高维数据中最重要的变化。目的是使用更少的维度(基向量)有效表示数据。识别冗余: 如果一组特征向量线性相关,这意味着某些特征可以表示为其他特征的组合。它们不会向新的方向扩展数据的张成空间。找到这些特征向量所张成空间的基,有助于识别一组核心的、非冗余的特征或潜在因素。维数告诉我们驱动数据的固有独立因素数量。模型复杂度: 输入特征空间的维数通常会影响机器学习模型所需的复杂程度(例如,线性模型中的参数数量)。理解实际维数可以指导模型选择和正则化方法。本质上,基和维数为量化特征空间的“大小”和结构提供了一种正式途径,有助于我们分析数据、降低复杂性并构建更有效的模型。在接下来的部分中,我们将查看与矩阵相关的特定子空间以及它们的维数如何关联。