矩阵作为线性变换

在上一节中，我们学习了矩阵乘法纯粹的计算过程。现在，我们来看看它的几何意义。将矩阵乘以向量 (vector)不只是符号运算；这是一种在空间中变换该向量（或它所代表的点）的方式。这种变换方式在机器学习 (machine learning)中非常重要，用于从改变坐标系到处理数据表示等任务。

可以将矩阵 $A$ 看作是一个算子或函数，它接收一个输入向量 $x$，并通过乘法生成一个输出向量 $y$：$y = Ax$。这种运算称为线性变换。

是什么使变换具有“线性”特征？它必须对任意向量 $u, v$ 和任意标量 $c$ 满足两个性质：

1. $A(u + v) = Au + Av$（保持加法）
2. $A(cu) = c(Au)$（保持标量乘法）

矩阵乘法本身就满足这些条件。从几何角度看，线性变换保持原点（零向量映射到零向量），并保持网格线平行且间隔均匀，尽管间隔和方向可能会变。它们可以拉伸、收缩、旋转、反射或剪切空间，但不会使之弯曲。

我们来查看一些由作用于二维向量的 2x2 矩阵表示的常见线性变换。我们将可视化它们如何影响单位正方形的顶点：$(0,0), (1,0), (1,1), (0,1)$。

缩放

缩放变换沿坐标轴拉伸或收缩空间。它由对角矩阵表示。

考虑矩阵 $S = \begin{bmatrix} 2 & 0 \\ 0 & 0.5 \end{bmatrix}$。我们将其应用于向量 (vector) $x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$：

$Sx = \begin{bmatrix} 2 & 0 \\ 0 & 0.5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 2x_1 \\ 0.5x_2 \end{bmatrix}$

这种变换使任何向量的 $x_1$ 分量加倍，并使 $x_2$ 分量减半。将其应用于单位正方形的顶点：

• $(0,0) \rightarrow (0, 0)$
• $(1,0) \rightarrow (2, 0)$
• $(1,1) \rightarrow (2, 0.5)$
• $(0,1) \rightarrow (0, 0.5)$

缩放变换 [[2, 0], [0, 0.5]] 应用于单位正方形。正方形水平拉伸，垂直压缩。

旋转

旋转变换使向量 (vector)绕原点旋转一个特定角度 $\theta$。标准二维旋转矩阵是：

$R_\theta = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$

我们旋转 $\theta = 90^\circ$（$\cos 90^\circ = 0, \sin 90^\circ = 1$）。矩阵变为 $R_{90} = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}$。

将其应用于单位正方形的顶点：

• $(0,0) \rightarrow (0, 0)$
• $(1,0) \rightarrow (0, 1)$
• $(1,1) \rightarrow (-1, 1)$
• $(0,1) \rightarrow (-1, 0)$

旋转变换 [[0, -1], [1, 0]] 应用于单位正方形，使其逆时针旋转90度。

剪切

剪切变换使空间倾斜，相当于使层之间相互滑动。水平剪切通常由形如 $H = \begin{bmatrix} 1 & s \\ 0 & 1 \end{bmatrix}$ 的矩阵表示，其中 $s$ 是剪切因子。

我们使用 $s = 1$，因此 $H = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$。将其应用于向量 (vector) $x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$：

$Hx = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} x_1 + x_2 \\ x_2 \end{bmatrix}$

这种变换将 $x_2$ 坐标加到 $x_1$ 坐标，根据点的高度水平移动。将其应用于单位正方形的顶点：

• $(0,0) \rightarrow (0, 0)$
• $(1,0) \rightarrow (1, 0)$
• $(1,1) \rightarrow (1+1, 1) = (2, 1)$
• $(0,1) \rightarrow (0+1, 1) = (1, 1)$

水平剪切变换 [[1, 1], [0, 1]] 应用于单位正方形。顶部边缘向右移动。

组合变换

如果我们先应用一个变换，然后再应用另一个变换，会发生什么？例如，先旋转90度（$R_{90}$），然后缩放（$S$）？我们顺序应用这些变换：

1. $x' = R_{90} x$
2. $y = S x' = S (R_{90} x)$

由于矩阵乘法满足结合律，这等同于 $y = (S R_{90}) x$。组合变换由单个变换矩阵的乘积表示。

注意： 矩阵乘法通常不满足交换律（$AB \neq BA$）。这意味着应用变换的顺序很重要。先缩放后旋转通常会产生与先旋转后缩放不同的结果。对应于首先应用的变换的矩阵出现在乘积的右侧。

与机器学习 (machine learning)的关联

将矩阵理解为线性变换在机器学习中意义重大：

• 特征空间变换： 诸如主成分分析（PCA）之类的技术通过应用旋转和缩放（由矩阵表示）来为数据寻找新的坐标系（基），以沿轴线最大化方差。特征分解和奇异值分解（SVD）将在后续讨论，它们都源于此。
• 数据增强： 在计算机视觉中，旋转、缩放或剪切图像（以矩阵或像素值张量表示）可以创建现有数据的变体，以提高模型的泛化能力。
• 神经网络 (neural network)层： 神经网络中的一些层执行仿射变换（$Ax + b$），其中矩阵乘法 $Ax$ 是线性变换组成部分。

在后续章节和部分中，我们将看到这些几何解释如何与求解线性系统、理解向量 (vector)空间以及执行在整个机器学习中都有用到的强大矩阵分解联系起来。请记住，NumPy 提供高效工具（如 @ 运算符或 np.dot()）来执行这些矩阵乘法，从而有效地应用我们讨论过的变换。