ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

感知机:最简单的神经网络

感知机是人工神经元数学模型最早的实际实现。它由Frank Rosenblatt在1950年代后期提出,是最简单的前馈神经网络 (neural network),通常包含一个或多个输出节点的单层。可以将其看作是一个基于证据做出判断的计算单元。

结构与运作

感知机接收多个输入,对这些输入施加权重 (weight),将它们与偏置 (bias)项相加,然后使用一个简单的阶跃函数来判断是输出1还是0(有时根据约定输出+1和-1)。让我们分析一下它的组成部分:

  1. 输入 (x1,x2,...,xnx_1, x_2, ..., x_nx1​,x2​,...,xn​): 这些是表示被评估数据点的数值特征。尽管Rosenblatt最初的感知机常使用二进制输入,但该模型也适用于实数值输入。
  2. 权重 (w1,w2,...,wnw_1, w_2, ..., w_nw1​,w2​,...,wn​): 每个输入特征 xix_ixi​ 都有一个关联的权重 wiw_iwi​。此权重表示该特定输入对最终判断的重要性或影响。正权重表示相应输入有助于激活感知机(输出1),而负权重则有助于使其不激活(输出0)。权重的绝对值表明了这种影响的强度。
  3. 偏置 (bbb): 偏置是一个额外参数 (parameter),类似于线性方程中的截距项。它为神经元提供一个可训练的基准激活,独立于输入。添加偏置会移动决策边界,使感知机能对不一定通过原点的数据集进行建模。从数学角度来看,将偏置看作对应于常数输入 x0=1x_0 = 1x0​=1 的权重 w0w_0w0​ 通常很方便。
  4. 求和函数 (Σ\SigmaΣ): 感知机计算的核心是其输入的加权和,加上偏置。这是一个线性组合: z=w1x1+w2x2+...+wnxn+b=(∑i=1nwixi)+bz = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b = \left( \sum_{i=1}^{n} w_i x_i \right) + bz=w1​x1​+w2​x2​+...+wn​xn​+b=(i=1∑n​wi​xi​)+b
  5. 激活函数 (activation function) (ϕ\phiϕ): 求和结果 zzz 随后通过一个激活函数。经典的感知机使用一个简单的阶跃函数,通常是Heaviside阶跃函数: y^=ϕ(z)={1如果 z≥00如果 z<0\hat{y} = \phi(z) = \begin{cases} 1 & \text{如果 } z \geq 0 \\ 0 & \text{如果 } z < 0 \end{cases}y^​=ϕ(z)={10​如果 z≥0如果 z<0​ 这里,y^\hat{y}y^​(读作“y-hat”)表示感知机产生的输出或预测。如果加权和 zzz 大于或等于零(这意味着它达到或超过了由偏置隐含设定的阈值,特别是 −b-b−b),感知机就会“激活”并输出1。否则,它输出0。这一特点使得感知机非常适合二元分类问题,其目标是将输入归入两个类别之一。

感知机的可视化

一个简单的图表有助于说明感知机内部的信息流动:

单个感知机内部的信息流动。输入 xix_ixi​ 乘以权重 (weight) wiw_iwi​。偏置 (bias) bbb 被加到求和结果中。结果通过阶跃激活函数 (activation function) ϕ\phiϕ 产生二元输出 y^\hat{y}y^​。

几何解释

从几何角度看,定义感知机输出切换点的方程,z=∑wixi+b=0z = \sum w_i x_i + b = 0z=∑wi​xi​+b=0,表示一个决策边界。在二维输入空间 (n=2n=2n=2) 中,该方程定义一条直线 (w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0w1​x1​+w2​x2​+b=0)。在三维空间中,它定义一个平面,在更高维度中,它定义一个超平面。

感知机的工作原理是找到一个超平面,将属于类别1的输入数据点与属于类别0的数据点分开。这种固有的线性特性意味着单个感知机只能成功分类线性可分的数据集,即存在这种分离超平面的数据集。

感知机学习规则

Rosenblatt不仅定义了其结构;他还提供了一个简单的算法来训练感知机,使其能够从数据中学习到合适的权重 (weight)和偏置 (bias)。感知机学习规则是一个迭代过程:

  1. 将权重 (wiw_iwi​) 和偏置 (bbb) 初始化为小的随机值或零。
  2. 对于每个训练样本 (x,y)(\mathbf{x}, y)(x,y),其中 x\mathbf{x}x 是输入向量 (vector) [x1,...,xn][x_1, ..., x_n][x1​,...,xn​], yyy 是真实目标标签(0或1): a. 使用当前的权重和偏置计算感知机的输出 y^\hat{y}y^​。 b. 将输出 y^\hat{y}y^​ 与真实标签 yyy 进行比较。 c. 如果预测不正确 (y≠y^y \neq \hat{y}y=y^​),更新权重和偏置: wi←wi+α(y−y^)xi对于所有 i=1,...,n w_i \leftarrow w_i + \alpha (y - \hat{y}) x_i \quad \text{对于所有 } i=1, ..., n wi​←wi​+α(y−y^​)xi​对于所有 i=1,...,n b←b+α(y−y^) b \leftarrow b + \alpha (y - \hat{y}) b←b+α(y−y^​) 这里,α\alphaα 是学习率,一个小的正常量(例如0.1或0.01),它控制更新的幅度。请注意,如果目标是1而输出是0(假阴性),则 (y−y^)(y - \hat{y})(y−y^​) 将为+1;如果目标是0而输出是1(假阳性),则为-1。 d. 如果预测正确 (y=y^y = \hat{y}y=y^​),则不对权重或偏置进行任何更改。
  3. 重复步骤2,多次迭代训练数据集(周期),直到感知机收敛(即在训练集上没有错误,或满足其他停止标准)。

已经证明,如果训练数据是线性可分的,感知机学习算法保证会收敛并找到一组能够正确分类所有训练样本的权重和偏置。

感知机是一个奠基模型,它表明简单的单元可以通过数据学习来执行分类任务。然而,其简单性也带来了限制,特别是它无法处理非线性可分问题,我们将在下一节中进行讨论。

  • The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Frank Rosenblatt, 1958 Psychological Review, Vol. 65 (American Psychological Association) DOI: 10.1037/h0042519 - 首次提出感知器概念及其学习算法的原始论文。
  • Perceptrons: An Introduction to Computational Geometry (Expanded Edition), Marvin Minsky, Seymour A. Papert, 1988 (MIT Press) - 奠基性著作,分析了感知器的能力和局限性,特别是其无法解决非线性可分问题的能力。此扩展版包含更新内容。
  • Pattern Recognition and Machine Learning, Christopher M. Bishop, 2006 (Springer) DOI: 10.1007/b139360 - 一本关于模式识别和机器学习数学基础的综合教材,清晰阐释了感知器模型。
  • Neural Networks and Deep Learning, Michael Nielsen, 2015 (Determination Press) - 一本在线免费书籍,对神经网络提供了清晰直观的介绍,其中包括感知器的详细解释。

© 2026 ApX Machine Learning