ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

人工神经元:数学模型

尽管生物神经元提供了一个有趣的起点,但构建计算模型需要更精确的数学抽象。让我们剖析一下人工神经元的标准模型,它在网络中常被称为单元或节点。这个模型以简化且易于计算的形式,捕捉了生物神经元信号处理的本质。

可以将人工神经元看作是一个处理单元,它接收多个输入,执行计算,并产生一个输出。以下是它的基本组成部分:

输入与权重 (weight)

人工神经元接收一个或多个输入信号。这些输入,表示为x1,x2,...,xnx_1, x_2, ..., x_nx1​,x2​,...,xn​,代表输入神经元的特征或信息。例如,在图像分类任务中,这些输入可以是图像一小块区域的像素值。

每个输入连接都有一个关联权重,表示为w1,w2,...,wnw_1, w_2, ..., w_nw1​,w2​,...,wn​。这些权重是网络在训练过程中学习到的重要参数 (parameter)。权重表示其相应输入信号的重要程度或强度。一个大的正权重意味着该输入强烈地激发神经元,而一个大的负权重意味着该输入强烈地抑制神经元。一个接近零的权重表示该输入对神经元的输出影响很小。

求和函数

神经元内部的第一步是计算所有输入的加权和。这汇集了所有输入信号的影响,并由各自的权重 (weight)调节。在数学上,这通常表示为:

z=(w1x1+w2x2+⋯+wnxn)+bz = (w_1 x_1 + w_2 x_2 + \dots + w_n x_n) + bz=(w1​x1​+w2​x2​+⋯+wn​xn​)+b

这本质上是输入的线性组合。

偏置 (bias)

请注意求和函数中的附加项bbb。这是偏置项。你可以将偏置视为一种移动激活函数 (activation function)触发点的方式,使神经元更容易或更难被激活(产生非零输出)。或者,它可以被视为与常数输入1(x0=1x_0 = 1x0​=1, w0=bw_0 = bw0​=b)关联的权重 (weight)。如果没有偏置,神经元的加权和w1x1+⋯+wnxnw_1 x_1 + \dots + w_n x_nw1​x1​+⋯+wn​xn​将始终通过原点,从而限制了其灵活性。偏置允许神经元模拟不一定通过原点的关系。与权重一样,偏置是训练期间调整的可学习参数 (parameter)。

激活函数 (activation function)

求和结果zzz随后通过一个激活函数,通常表示为g(⋅)g(\cdot)g(⋅)。这个函数为神经元的输出引入非线性。

输出=a=g(z)=g(∑i=1nwixi+b)\text{输出} = a = g(z) = g(\sum_{i=1}^{n} w_i x_i + b)输出=a=g(z)=g(i=1∑n​wi​xi​+b)

为什么非线性很重要?如果神经元只执行线性变换(如加权和),那么堆叠多层神经元整体上仍只会产生线性变换。这将严重限制网络可以学习的函数的复杂性。生物神经元表现出非线性发放行为,激活函数模仿了这一点。常见示例包括 Sigmoid、Tanh 和 ReLU 函数,我们将在下一章中详细介绍它们。现在,请理解激活函数决定了传递给其他神经元或用作最终网络输出的最终信号。

模型可视化

我们可以将这个数学模型可视化如下:

人工神经元模型的图示。输入(xix_ixi​)乘以权重 (weight)(wiw_iwi​),与偏置 (bias)(bbb)一起求和得到zzz,然后通过激活函数 (activation function)g(⋅)g(\cdot)g(⋅)产生最终输出aaa。

这个数学模型,简单而强大,构成了几乎所有神经网络 (neural network)的基本模型。我们接下来将讨论的感知器,本质上就是这个模型,只是使用了特定类型的激活函数(一个阶跃函数)。通过将许多这样的神经元分层连接起来,我们可以构建能够学习数据中错综复杂模式的网络。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 一本全面的深度学习教科书,涵盖了人工神经元及其组件的数学模型等基本概念。
  • Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms, Frank Rosenblatt, 1962 (Spartan Books) - 介绍感知器(现代人工神经元模型的直接前身)的基础性书籍,详细阐述了其数学基础。
  • Neural Networks and Deep Learning, Michael A. Nielsen, 2015 (Determination Press) - 一本易于理解的在线书籍,清晰地解释了神经网络的基础知识,包括感知器和人工神经元的架构。

© 2026 ApX Machine Learning