ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习线性代数要点
章节 1: 机器学习中的向量
向量作为数据表示形式
基本向量运算
向量大小与方向
点积与投影
向量范数:衡量长度
计算向量间的距离
使用 NumPy 实现向量运算
动手实践:特征向量操作
第 1 章测验
章节 2: 矩阵:数据表示与变换
矩阵用于组织数据
矩阵基本运算
矩阵乘法说明
矩阵作为线性变换
常见矩阵类型
表示线性方程组
使用 NumPy 进行矩阵运算
动手实践:数据点变换
第 2 章测验
章节 3: 求解线性方程组和矩阵逆
机器学习模型中的线性系统
高斯消元法简介
矩阵逆
计算矩阵的逆
行列式与可逆性
运用逆矩阵求解 Ax=b
数值稳定性和替代方法
动手实践:求解模型系数
第 3 章测验
章节 4: 向量空间、子空间与线性独立
定义向量空间
理解子空间
线性组合与张成
向量的线性独立性
基与维数
列空间与零空间
矩阵的秩
实践操作:分析特征向量集
第 4 章测验
章节 5: 特征值与特征向量
特征值和特征向量的定义
几何解释
特征方程
计算特征向量
矩阵的特征分解
主成分分析(PCA)中的作用
使用NumPy计算特征值和特征向量
动手实践:特征分解计算
第 5 章测验
章节 6: 机器学习中的矩阵分解
矩阵分解简介
奇异值分解 (SVD)
SVD 的几何含义
SVD在降维中的应用
SVD在数据压缩中的应用
奇异值分解与特征分解的关系
LU 分解概述
QR分解概览
使用 SciPy/NumPy 实现分解
SVD实践应用
第 6 章测验

矩阵的特征分解

基于向量 (vector)在线性变换 AAA 下方向不变,仅由特征值 λ\lambdaλ 进行缩放(即 Ax=λxAx = \lambda xAx=λx)的原理,我们现在可以考察这些特殊向量和标量如何帮助我们分解矩阵 AAA 本身。这个过程被称为特征分解,有时也称为谱分解,为理解 AAA 所代表的线性变换的性质和作用提供了一种有效方法。

特征分解公式

对于特定类型的矩阵,即可对角化的方阵,我们可以将矩阵 AAA 表示为其特征值和特征向量 (vector)的乘积:

A=PDP−1A = PDP^{-1}A=PDP−1

我们来阐明此公式中每个矩阵的含义:

  • P: 这是一个可逆矩阵,其列是 AAA 的线性无关特征向量。如果 AAA 是一个 n×nn \times nn×n 矩阵,且拥有 nnn 个线性无关的特征向量 v1,v2,…,vnv_1, v_2, \dots, v_nv1​,v2​,…,vn​,则 PPP 通过将这些特征向量作为其列构成:P=[v1∣v2∣…∣vn]P = [v_1 | v_2 | \dots | v_n]P=[v1​∣v2​∣…∣vn​]。
  • D: 这是一个对角矩阵,其主对角线上包含 AAA 的特征值。每个特征值 λi\lambda_iλi​ 在 DDD 中的位置与它在 PPP 中对应特征向量 viv_ivi​ 的位置一致。DDD 中所有非对角线上的元素均为零。 D=[λ10…00λ2…0⋮⋮⋱⋮00…λn]D = \begin{bmatrix} \lambda_1 & 0 & \dots & 0 \\ 0 & \lambda_2 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \lambda_n \end{bmatrix}D=​λ1​0⋮0​0λ2​⋮0​……⋱…​00⋮λn​​​
  • P⁻¹: 这表示矩阵 PPP 的逆。由于 PPP 的列是特征向量,因此 PPP 可逆的要求等同于要求 AAA 的特征向量构成向量空间 Rn\mathbb{R}^nRn 的一组基。这意味着特征向量必须线性无关。

特征分解何时可行?

需要注意的是,并非每个方阵都能以 A=PDP−1A = PDP^{-1}A=PDP−1 的形式进行分解。这种因式分解仅当矩阵 AAA 可对角化时才可行,这意味着它必须拥有完整的一组 nnn 个线性无关的特征向量 (vector)(其中 AAA 是 n×nn \times nn×n 矩阵)。好在,此条件对机器学习 (machine learning)中常见的几种矩阵类型都适用:

  1. 实对称矩阵: 如果矩阵 AAA 是对称的(A=ATA = A^TA=AT)且具有实数值,它总是可对角化的。一个很大的优点是,其特征向量可以被选为形成一个正交归一基。在这种情况下,矩阵 PPP 成为一个正交矩阵,这意味着它的逆就是它的转置(P−1=PTP^{-1} = P^TP−1=PT)。分解会精简为 A=PDPTA = PDP^TA=PDPT。协方差矩阵是PCA等方法的核心部分,它们是对称的,这使得此属性非常有用。
  2. 具有不同特征值的矩阵: 如果一个 n×nn \times nn×n 矩阵 AAA 拥有 nnn 个不同的特征值,那么其对应的特征向量必然线性无关。因此,任何具有不同特征值的矩阵都是可对角化的。

不具备完整线性无关特征向量集的矩阵被称为亏格矩阵。这类矩阵无法使用 PDP−1PDP^{-1}PDP−1 形式进行对角化。虽然有其他分解方法(如约旦标准型),但它们通常更为复杂,且在标准机器学习算法中较少使用。

几何与计算作用

特征分解 A=PDP−1A = PDP^{-1}A=PDP−1 不仅是一种代数变换。它提供了丰富的几何理解和计算便利:

  1. 几何地理解变换: 这种分解将 AAA 的作用解释为三个基本步骤的序列:

    • P−1P^{-1}P−1: 该矩阵将向量 (vector)从标准坐标系变换到由 AAA 的特征向量定义的坐标系中。可以将其视为一种“基变换”,使得变换更简单。
    • DDD: 在这个特征向量基中,变换只是沿着每个特征向量轴的缩放。第 iii 个轴(对应于特征向量 viv_ivi​)被因子 λi\lambda_iλi​ 缩放。
    • PPP: 该矩阵将缩放后的向量从特征向量基变换回标准坐标系。

    简而言之,A=PDP−1A = PDP^{-1}A=PDP−1 告诉我们,任何由可对角化矩阵 AAA 表示的线性变换都等同于沿着其特征向量方向进行缩放。

    将矩阵 AAA 应用于向量,等同于先转换到特征向量基 (P−1P^{-1}P−1),沿着这些轴进行缩放 (DDD),然后再转换回标准基 (PPP)。

  2. 简化矩阵计算: 特征分解极大地简化了矩阵幂的计算。以计算 A2A^2A2 为例: A2=(PDP−1)(PDP−1)=PD(P−1P)DP−1=PDIDP−1=PD2P−1A^2 = (PDP^{-1})(PDP^{-1}) = PD(P^{-1}P)DP^{-1} = PDIDP^{-1} = PD^2P^{-1}A2=(PDP−1)(PDP−1)=PD(P−1P)DP−1=PDIDP−1=PD2P−1 其中 III 是单位矩阵。推广此模式,对于任何正整数 kkk: Ak=PDkP−1A^k = PD^kP^{-1}Ak=PDkP−1 计算 DkD^kDk 在计算上非常高效,因为 DDD 是对角矩阵。我们只需将每个对角线上的特征值提升到 kkk 次幂:

    Dk=[λ1k0…00λ2k…0⋮⋮⋱⋮00…λnk]D^k = \begin{bmatrix} \lambda_1^k & 0 & \dots & 0 \\ 0 & \lambda_2^k & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \lambda_n^k \end{bmatrix}Dk=​λ1k​0⋮0​0λ2k​⋮0​……⋱…​00⋮λnk​​​

    这避免了直接计算 AkA^kAk 所需的重复且通常耗时的矩阵乘法。该方法在分析随时间变化的系统(如马尔可夫链或人口模型)时很有用。

  3. 机器学习 (machine learning)方法的依据: 理解特征分解是掌握多种重要机器学习算法的基础。正如我们之后会介绍的,主成分分析(PCA)直接依赖于数据协方差矩阵的特征分解。特征向量表示方差最大的方向(即主成分),特征值则衡量此方差的大小。通过理解 A=PDP−1A = PDP^{-1}A=PDP−1 如何分解一个变换(例如协方差矩阵所代表的变换),您可以很好地理解 PCA 是如何实现降维的。

后续章节将介绍这些内容在实际中的应用,尤其是特征值和特征向量在 PCA 中的作用,并展示如何使用 NumPy 等 Python 库高效地进行这些分解。

  • Introduction to Linear Algebra, Gilbert Strang, 2016 (Wellesley-Cambridge Press) - 一本线性代数基础教材,涵盖了特征分解、对角化及其几何解释。
  • Mathematics for Machine Learning, Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong, 2020 (Cambridge University Press) - 一本综合资源,将线性代数概念(包括特征分解)与机器学习算法(如PCA)直接关联起来。
  • Lecture 22: Diagonalization and Powers of A, Gilbert Strang, 1999 - 麻省理工学院开放课程讲义,清晰地解释了矩阵对角化及其在计算矩阵幂中的应用。
  • numpy.linalg.eig, NumPy Developers, 2023 - NumPy官方文档,介绍用于计算方阵特征值和右特征向量的函数,对实际实现很有帮助。

© 2026 ApX Machine Learning