ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

多层感知机 (MLP):添加层次

单层感知机虽然是基础,但存在一个显著的局限性:它只能学习线性可分模式。像经典的XOR(异或)函数这样的问题超出了它的能力范围,因为在输入空间中,这些类别(0和1输出)无法通过一条直线来分开。为了处理这种非线性关系,我们需要为网络结构引入更多的复杂性。多层感知机(MLP)便因此出现。

多层感知机背后的主要思想简单而有效:在输入层和输出层之间插入一个或多个神经元层。这些中间层被称为隐藏层。它们之所以“隐藏”,是因为它们的输出不直接作为网络的最终结果被观察到;相反,它们充当后续层的输入。

多层感知机的架构

多层感知机由以下部分组成:

  1. 输入层: 这一层接收初始数据(特征)。这一层中的神经元数量与输入数据中的特征数量相对应。它不执行计算;它只是将数据传递给第一个隐藏层。
  2. 隐藏层: 一个或多个位于输入层和输出层之间的层。每个隐藏层包含一定数量的神经元(也称为隐藏单元)。这些神经元执行计算:它们对前一层的输出进行加权求和,添加一个偏置 (bias),并应用一个激活函数 (activation function)。隐藏层的存在使得网络能够从数据中学习复杂的模式和表示。
  3. 输出层: 产生网络预测的最终层。这一层中使用的神经元数量和激活函数取决于具体的任务(例如,一个神经元使用Sigmoid激活函数用于二分类,多个神经元使用Softmax用于多分类,或者一个神经元使用线性激活函数用于回归)。

在多层感知机中,信息通常沿一个方向流动:从输入层,经过隐藏层,到达输出层。这种架构被称为前馈网络。在前向传播(预测阶段)期间,层结构内部没有循环或将信息回传的连接。通常,一层中的每个神经元都连接到后续层中的每个神经元,形成所谓的全连接层或密集层。

一个简单的多层感知机,包含一个输入层(2个神经元)、一个隐藏层(3个神经元)和一个输出层(1个神经元)。连接表示信息的前馈流动。

克服线性局限

隐藏层如何解决单层感知机面临的问题?主要在于多层结构与非线性激活函数 (activation function)的结合(我们将在下一章中详细探讨)。

设想第一个隐藏层中的每个神经元学习一个简单的线性边界,类似于单个感知机。然而,这些神经元的输出在经过非线性激活函数转换后,成为下一层的输入。随后层中的神经元可以组合这些非线性变换。

实际上,隐藏层学习将输入数据转换为新的表示空间。在这个转换后的空间中,最初的非线性可分问题可以变为线性可分。对于XOR问题,隐藏层可以学习表示,使得属于不同类别的点随后可以通过输出层神经元用一条直线分开。增加层次(更多层)使得网络能够从数据中学习日益复杂的函数和分层特征。

为了使多层感知机学习非线性函数,隐藏神经元中使用的激活函数必须是非线性的(例如,Sigmoid、Tanh、ReLU)。如果整个网络中只使用线性激活函数,那么整个多层感知机,无论有多少层,都将在数学上退化为一个等效的单层线性模型,从而使我们回到感知机的局限性。

总而言之,多层感知机通过引入隐藏层克服了单层模型的限制。这些层结合非线性激活函数,使得多层感知机能够学习输入和输出之间复杂的非线性映射,使其成为各种机器学习 (machine learning)任务的有力工具。它们为许多更高级深度学习 (deep learning)架构奠定了根基。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本基础性教材,全面涵盖了深度学习的理论基础和实际应用,包括对多层感知器及其学习非线性函数能力的详细解释。
  • Pattern Recognition and Machine Learning, Christopher M. Bishop, 2006 (Springer) - 一本经典的教科书,对神经网络进行了严谨的介绍,详细阐述了多层感知器的架构和处理复杂数据模式的计算能力。
  • Neural Networks and Deep Learning, Michael Nielsen, 2015 - 一个易于理解的在线教材章节,解释了单层感知器的局限性(如XOR问题),并介绍了多层感知器的架构以应对这些非线性挑战。

© 2026 ApX Machine Learning