ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习线性代数要点
章节 1: 机器学习中的向量
向量作为数据表示形式
基本向量运算
向量大小与方向
点积与投影
向量范数:衡量长度
计算向量间的距离
使用 NumPy 实现向量运算
动手实践:特征向量操作
第 1 章测验
章节 2: 矩阵:数据表示与变换
矩阵用于组织数据
矩阵基本运算
矩阵乘法说明
矩阵作为线性变换
常见矩阵类型
表示线性方程组
使用 NumPy 进行矩阵运算
动手实践:数据点变换
第 2 章测验
章节 3: 求解线性方程组和矩阵逆
机器学习模型中的线性系统
高斯消元法简介
矩阵逆
计算矩阵的逆
行列式与可逆性
运用逆矩阵求解 Ax=b
数值稳定性和替代方法
动手实践:求解模型系数
第 3 章测验
章节 4: 向量空间、子空间与线性独立
定义向量空间
理解子空间
线性组合与张成
向量的线性独立性
基与维数
列空间与零空间
矩阵的秩
实践操作:分析特征向量集
第 4 章测验
章节 5: 特征值与特征向量
特征值和特征向量的定义
几何解释
特征方程
计算特征向量
矩阵的特征分解
主成分分析(PCA)中的作用
使用NumPy计算特征值和特征向量
动手实践:特征分解计算
第 5 章测验
章节 6: 机器学习中的矩阵分解
矩阵分解简介
奇异值分解 (SVD)
SVD 的几何含义
SVD在降维中的应用
SVD在数据压缩中的应用
奇异值分解与特征分解的关系
LU 分解概述
QR分解概览
使用 SciPy/NumPy 实现分解
SVD实践应用
第 6 章测验

主成分分析(PCA)中的作用

当应用线性变换时,特征值和特征向量 (vector)会显示空间中方向保持不变(除了缩放)的特点。此性质对于理解数据的内在结构非常有帮助,这是主成分分析(PCA)的根本。

PCA是机器学习 (machine learning)和数据分析中的一种基本方法,主要用于降维。其主要目的是为数据找到一组新的坐标轴,称为主成分。选择这些新轴的目的是使数据中最大的方差沿第一个轴被捕获,剩余的最大方差沿第二个轴(与第一个轴正交)被捕获,依此类推。这样我们就能用更少的维度表示数据,同时最大程度地减少信息丢失。

协方差矩阵:数据离散程度的度量

为了找到这些最大方差的方向,我们首先需要量化 (quantization)数据集中不同特征如何共同变化。这正是协方差矩阵(CCC)的作用。对于一个包含 ppp 个特征的数据集,协方差矩阵是一个 p×pp \times pp×p 对称矩阵。它的对角线元素 CiiC_{ii}Cii​ 是第 iii 个特征的方差;非对角线元素 CijC_{ij}Cij​ 是第 iii 个特征和第 jjj 个特征之间的协方差。

该矩阵总结了数据的离散程度和线性关系。

作为最大方差方向的特征向量 (vector)

这里有一个重要关联:数据协方差矩阵 CCC 的特征向量指向数据中最大方差的方向。 这些方向就是主成分。此外,与每个特征向量关联的特征值 λ\lambdaλ 量化 (quantization)了沿该特定方向的方差大小。

回想定义 Ax=λxAx = \lambda xAx=λx。在PCA中,我们的矩阵 AAA 就是协方差矩阵 CCC。特征向量 xxx(在PCA文献中常表示为 uuu 或 vvv)就是主成分。当我们对协方差矩阵 CCC 的一个特征向量 uuu 进行变换时,结果就是该向量按其特征值 λ\lambdaλ 进行缩放:Cu=λuCu = \lambda uCu=λu。

这为何重要?事实表明,找到能使数据投影到其上(uTCuu^T C uuTCu)的方差最大化的方向 uuu(一个单位向量),会直接得到特征向量方程。使此方差最大的方向 uuu 就是 对应于 CCC 的最大特征值的特征向量。所获得的最大方差等于该最大特征值 λmax\lambda_{max}λmax​。

主成分:新的坐标轴

因此,数据的主成分就是其协方差矩阵 CCC 的特征向量 (vector),通常按特征值从高到低排序。

  1. 第一主成分 (PC1): 与最大特征值(λ1\lambda_1λ1​)关联的特征向量。此方向捕获了数据集中最多的方差。
  2. 第二主成分 (PC2): 与第二大特征值(λ2\lambda_2λ2​)关联的特征向量。此方向与PC1正交(垂直),并捕获了最大的剩余方差。
  3. 后续主成分: 每一个后续主成分都与其所有前一个主成分正交,并捕获了剩余数据中可能的最大方差。

主成分的可视化

想象一个形成椭圆形云团的二维数据点的散点图。此数据协方差矩阵的特征向量 (vector)将与该椭圆的轴对齐 (alignment)。

散点图显示二维数据点。PC1(红线)指示最大方差的方向,这由具有最大特征值的特征向量决定。PC2(橙色虚线)与PC1正交,捕获次大的方差。

PCA如何进行降维

特征值说明了每个主成分(特征向量 (vector))捕获的方差大小。通过将特征向量根据其对应的特征值按降序排列,我们就能知道哪些方向对描述数据离散程度最“重要”。

要将数据从 ppp 维降到更少的 kkk 维(其中 k<pk < pk<p),PCA 包括以下步骤:

  1. 计算原始数据的协方差矩阵 CCC。
  2. 计算 CCC 的特征值和特征向量。
  3. 选择与 kkk 个最大特征值对应的 kkk 个特征向量。这些构成了我们降维子空间的新基。
  4. 通过将原始数据点投影到所选的 kkk 个特征向量上,将它们变换到这个新子空间。

结果是一个 kkk 维数据集,它保留了原始 ppp 维数据中最重要的方差。前 kkk 个主成分保留的总方差比例可以通过求前 kkk 个特征值的和并除以所有特征值的和来计算。

总结

特征值和特征向量 (vector)对主成分分析非常重要,因为:

  • 协方差矩阵的特征向量定义了主成分:数据沿其展现最大方差的正交轴。
  • 特征值衡量这些主成分方向上的方差大小。

这种关联使得PCA能够系统地辨识数据中最有用的方向,从而有效地进行降维,同时保留数据的基本结构。理解这种关联对于任何在机器学习 (machine learning)中应用或理解PCA结果的人都很有意义。在接下来的实践练习中,您将学习如何使用NumPy等库进行这些计算。

  • On Lines and Planes of Closest Fit to Systems of Points in Space, Karl Pearson, 1901 Philosophical Magazine, Series 6, Vol. 2 (Taylor & Francis) DOI: 10.1080/14786440109462720 - 一篇奠基性论文,从几何角度引入了主轴概念,这是主成分分析的前身。
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Trevor Hastie, Robert Tibshirani, and Jerome Friedman, 2009 (Springer) - 统计学习领域的知名教材,在更广阔的机器学习背景下对PCA作为降维技术进行了全面阐述。
  • Linear Algebra and Learning from Data, Gilbert Strang, 2019 (Wellesley-Cambridge Press) - 一本将线性代数概念(如特征值和特征向量)与它们在包括PCA在内的机器学习算法中的应用直接联系起来的教材。
  • Principal Component Analysis (PCA), Andrew Ng, 2020 Stanford CS229 Machine Learning Course Notes (Stanford University) - 来自一个非常有影响力的机器学习课程的课堂笔记,对PCA的数学基础和应用提供了实用且直观的解释。

© 2026 ApX Machine Learning