ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

机器学习线性代数入门
章节 1: 线性代数在机器学习中的重要性
用向量和矩阵表示数据
机器学习算法中的线性代数
核心思想概述
配置Python环境
第 1 章测验
章节 2: NumPy 数值计算入门
NumPy 数组介绍
创建 NumPy 数组
数组索引与切片
数组基本运算
数组属性与形状调整
动手实践:NumPy 数组的创建与操作
第 2 章测验
章节 3: 使用向量
什么是向量?
向量表示法
在Python中使用NumPy的向量
向量加法与减法
标量乘法
向量范数:测量长度
点积
实践:NumPy 向量运算
第 3 章测验
章节 4: 使用矩阵
什么是矩阵?
矩阵记号与维度
使用NumPy在Python中表示矩阵
矩阵类型:方阵、单位矩阵、零矩阵
对角矩阵和三角矩阵
实践:使用NumPy创建矩阵
第 4 章测验
章节 5: 矩阵基本运算
矩阵加法和减法
标量乘法
矩阵转置
矩阵乘法:点积
矩阵乘法的性质
动手实践:NumPy 矩阵运算
第 5 章测验
章节 6: 线性方程组与矩阵逆
使用矩阵表示线性方程
解的含义
单位矩阵再论
矩阵的逆
矩阵可逆的条件
使用逆矩阵求解 Ax = b
使用NumPy计算逆矩阵
使用NumPy求解线性系统
实践:使用NumPy求解方程组
第 6 章测验

本课程已归档: 现已推出包含更新教学大纲和改进内容的新版本。

矩阵乘法:点积

虽然矩阵加法、减法和标量乘法是按元素进行运算的,但矩阵乘法的工作方式大不相同。它是一种基本运算,根据涉及行和列的规则组合两个矩阵,而不仅仅是对应元素。此运算对机器学习 (machine learning)中的许多原理都非常重要,例如转换数据点、在神经网络 (neural network)中连接计算步骤以及表示线性方程组。

了解维度规则

矩阵乘法是一种将两个矩阵组合起来的操作。为了执行矩阵乘法,被相乘的两个矩阵必须满足关于其维度的特定条件。例如,如果矩阵 AAA 的维度是 mimesnm imes nmimesn(即 mmm 行 nnn 列),而矩阵 BBB 的维度是 nimespn imes pnimesp(即 nnn 行 ppp 列),则矩阵积 ABABAB 才会被定义。

最重要的一点是,第一个矩阵(AAA)的列数必须等于第二个矩阵(BBB)的行数。在此情况下,两者都是 nnn。

结果矩阵,我们称之为 C=ABC = ABC=AB,其维度将是 m×pm \times pm×p。它将具有与第一个矩阵 (AAA) 相同的行数,以及与第二个矩阵 (BBB) 相同的列数。

A⏟m×n×B⏟n×p=C⏟m×p\underbrace{A}_{m \times n} \quad \times \quad \underbrace{B}_{n \times p} \quad = \quad \underbrace{C}_{m \times p}m×nA​​×n×pB​​=m×pC​​

如果内部维度不匹配(n≠nn \neq nn=n),则矩阵无法按该顺序相乘。

计算积:行与列的点积

我们如何找出结果矩阵 CCC 内部的值?每个元素 CijC_{ij}Cij​(矩阵 CCC 中第 iii 行第 jjj 列的元素)是通过取矩阵 AAA 的第 iii 行与矩阵 BBB 的第 jjj 列的点积来计算的。

请记住,两个向量 (vector) u=[u1,u2,…,un]u = [u_1, u_2, \dots, u_n]u=[u1​,u2​,…,un​] 和 v=[v1,v2,…,vn]v = [v_1, v_2, \dots, v_n]v=[v1​,v2​,…,vn​] 的点积是 u⋅v=u1v1+u2v2+⋯+unvn=∑k=1nukvku \cdot v = u_1v_1 + u_2v_2 + \dots + u_nv_n = \sum_{k=1}^{n} u_k v_ku⋅v=u1​v1​+u2​v2​+⋯+un​vn​=∑k=1n​uk​vk​。

对于矩阵乘法 C=ABC = ABC=AB,若 AAA 是 m×nm \times nm×n 矩阵且 BBB 是 n×pn \times pn×p 矩阵:

Cij=(A 的第 i 行)⋅(B 的第 j 列)C_{ij} = (\text{A 的第 } i \text{ 行}) \cdot (\text{B 的第 } j \text{ 列})Cij​=(A 的第 i 行)⋅(B 的第 j 列)

从数学上讲,如果 AikA_{ik}Aik​ 是 AAA 中第 iii 行第 kkk 列的元素,并且 BkjB_{kj}Bkj​ 是 BBB 中第 kkk 行第 jjj 列的元素,则:

Cij=∑k=1nAikBkjC_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}Cij​=∑k=1n​Aik​Bkj​

这意味着您将 AAA 的行和 BBB 的列中的对应元素相乘,然后将这些乘积相加。

这是一个可视化表示,展示了矩阵 AAA 的第 iii 行和矩阵 BBB 的第 jjj 列如何通过点积组合来计算结果矩阵 CCC 中的元素 CijC_{ij}Cij​。

数值例子

让我们将一个 2×32 \times 32×3 矩阵 AAA 乘以一个 3×23 \times 23×2 矩阵 BBB。结果 CCC 应该是一个 2×22 \times 22×2 矩阵。

A=[123456]B=[789123]A = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix} \quad B = \begin{bmatrix} 7 & 8 \\ 9 & 1 \\ 2 & 3 \end{bmatrix}A=[14​25​36​]B=​792​813​​

结果矩阵是 C=ABC = ABC=AB:

C=[C11C12C21C22]C = \begin{bmatrix} C_{11} & C_{12} \\ C_{21} & C_{22} \end{bmatrix}C=[C11​C21​​C12​C22​​]

让我们计算每个元素:

  • C11C_{11}C11​: AAA 的第 1 行和 BBB 的第 1 列的点积。 C11=(1×7)+(2×9)+(3×2)=7+18+6=31C_{11} = (1 \times 7) + (2 \times 9) + (3 \times 2) = 7 + 18 + 6 = 31C11​=(1×7)+(2×9)+(3×2)=7+18+6=31
  • C12C_{12}C12​: AAA 的第 1 行和 BBB 的第 2 列的点积。 C12=(1×8)+(2×1)+(3×3)=8+2+9=19C_{12} = (1 \times 8) + (2 \times 1) + (3 \times 3) = 8 + 2 + 9 = 19C12​=(1×8)+(2×1)+(3×3)=8+2+9=19
  • C21C_{21}C21​: AAA 的第 2 行和 BBB 的第 1 列的点积。 C21=(4×7)+(5×9)+(6×2)=28+45+12=85C_{21} = (4 \times 7) + (5 \times 9) + (6 \times 2) = 28 + 45 + 12 = 85C21​=(4×7)+(5×9)+(6×2)=28+45+12=85
  • C22C_{22}C22​: AAA 的第 2 行和 BBB 的第 2 列的点积。 C22=(4×8)+(5×1)+(6×3)=32+5+18=55C_{22} = (4 \times 8) + (5 \times 1) + (6 \times 3) = 32 + 5 + 18 = 55C22​=(4×8)+(5×1)+(6×3)=32+5+18=55

因此,结果矩阵是:

C=AB=[31198555]C = AB = \begin{bmatrix} 31 & 19 \\ 85 & 55 \end{bmatrix}C=AB=[3185​1955​]

NumPy 中的矩阵乘法

NumPy 使矩阵乘法变得简单。自 Python 3.5 以来,在两个 NumPy 数组(表示矩阵)之间执行矩阵乘法的标准方式是使用 @ 运算符。

让我们使用 NumPy 执行与上面相同的计算:

import numpy as np

# 定义矩阵 A 和 B
A = np.array([[1, 2, 3],
              [4, 5, 6]])

B = np.array([[7, 8],
              [9, 1],
              [2, 3]])

# 检查形状
print(f"A 的形状: {A.shape}") # Output: Shape of A: (2, 3)
print(f"B 的形状: {B.shape}") # Output: Shape of B: (3, 2)

# 使用 @ 运算符执行矩阵乘法
C = A @ B

print(f"\n矩阵 A:\n{A}")
print(f"矩阵 B:\n{B}")
print(f"结果 C = A @ B:\n{C}")
# 输出:
# Result C = A @ B:
# [[31 19]
#  [85 55]]

print(f"C 的形状: {C.shape}") # Output: Shape of C: (2, 2)

结果与我们手动计算的结果一致。注意 NumPy 如何在内部处理行与列的点积。

您也可能会遇到 np.dot(A, B) 或 A.dot(B)。对于二维数组(矩阵),这些函数执行标准的矩阵乘法,就像 @ 运算符一样。然而,@ 运算符通常更受欢迎,因为它对于矩阵乘法是明确的,而 np.dot 对于维度超过两个的数组行为不同。为了在处理矩阵时保持清晰,请坚持使用 @。

一个重要说明:不可交换性

与常规数字(标量)的乘法不同,常规数字乘法有 a×b=b×aa \times b = b \times aa×b=b×a,而矩阵乘法通常不具有可交换性。这意味着,在大多数情况下:

AB≠BAAB \neq BAAB=BA

有时,即使 ABABAB 被定义, BABABA 也可能甚至未被定义。例如,在我们上面的例子中,AAA 是 2×32 \times 32×3 矩阵,BBB 是 3×23 \times 23×2 矩阵。积 ABABAB 被定义,结果是一个 2×22 \times 22×2 矩阵。

那 BABABA 呢?这里,BBB 是 3×23 \times 23×2 矩阵,AAA 是 2×32 \times 32×3 矩阵。内部维度匹配(2 和 2),所以 BABABA 是被定义的。结果矩阵 BABABA 将是 3×33 \times 33×3。

因为 ABABAB 是 2×22 \times 22×2 矩阵,BABABA 是 3×33 \times 33×3 矩阵,它们显然不能相等。让我们用 NumPy 计算 BABABA 来看一看:

# 计算 BA (注意顺序)
C_BA = B @ A

print(f"\n结果 BA = B @ A:\n{C_BA}")
# 输出:
# Result BA = B @ A:
# [[ 39  54  69]
#  [ 13  23  33]
#  [ 14  19  24]]

print(f"BA 的形状: {C_BA.shape}") # Output: Shape of BA: (3, 3)

正如所料,BABABA 是一个 3×33 \times 33×3 矩阵,与 ABABAB 完全不同。

即使 AAA 和 BBB 是相同大小的方阵,并且 ABABAB 和 BABABA 都被定义并具有相同的维度,结果通常也会不同。矩阵相乘的顺序非常重要。这对计算机图形学和机器学习 (machine learning)等方面有重要影响,在这些方面,矩阵运算序列表示变换或计算步骤的序列。改变顺序会改变结果。

  • Introduction to Linear Algebra, Gilbert Strang, 2016 (Wellesley-Cambridge Press) - 一本基础教材,提供严谨且直观的线性代数基础知识,包括对矩阵乘法及其性质的详细论述。
  • Mathematics for Machine Learning, Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong, 2020 (Cambridge University Press) DOI: 10.1017/9781108679904 - 专为机器学习实践者设计,本书解释了线性代数概念(如矩阵乘法)在机器学习应用中的背景和作用。
  • numpy.matmul, NumPy Developers, 2023 - NumPy官方文档,解释matmul函数和@运算符用于矩阵乘法的行为,并提供示例。
  • Linear Algebra (18.06SC), Gilbert Strang, 2011 (MIT OpenCourseWare) - 一门麻省理工学院的基础课程,提供全面的线性代数视频讲座和材料,包括对矩阵运算及其解释的深度讨论。

© 2026 ApX Machine Learning