ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

深度学习入门
章节 1: 神经网络基本原理
从机器学习到深度学习
生物学上的启发:神经元
人工神经元:数学模型
感知机:最简单的神经网络
单层感知器的局限性
多层感知机 (MLP):添加层次
动手实践:构建一个简单的感知器模型
第 1 章测验
章节 2: 激活函数与网络结构
激活函数的作用
Sigmoid 激活函数
双曲正切(Tanh)激活函数
修正线性单元 (ReLU)
ReLU的多种形式 (Leaky ReLU, PReLU, ELU)
选择合适的激活函数
理解网络层:输入层、隐藏层、输出层
设计前馈网络架构
动手实践:实现不同的激活函数
第 2 章测验
章节 3: 训练神经网络:损失与优化
衡量表现:损失函数
常见的回归损失函数 (MSE, MAE)
用于分类的常用损失函数(交叉熵)
优化:寻找最优权重
梯度下降算法
学习率
随机梯度下降 (SGD)
梯度下降的难题
动手实践:梯度下降可视化
第 3 章测验
章节 4: 反向传播和高级优化
计算梯度:链式法则
计算图
反向传播算法详解
前向传播与反向传播
带有动量的梯度下降
RMSprop 优化器
Adam 优化器
选择优化算法
动手实践:反向传播逐步解析
第 4 章测验
章节 5: 搭建与训练深度神经网络
深度学习框架简介 (TensorFlow/Keras, PyTorch)
搭建开发环境
神经网络的数据准备
定义一个前馈网络模型
权重初始化方法
配置模型:损失函数与优化器选择
模型训练:fit 方法
监控训练进展(损失与指标)
模型性能评估
动手实践:在MNIST上训练分类器
第 5 章测验
章节 6: 正则化与性能提升
过拟合问题
正则化方法概述
L1 和 L2 正则化
Dropout正则化
早期停止
批标准化
超参数调整基本原理
超参数搜索策略(网格搜索、随机搜索)
实践操作:运用Dropout和Early Stopping
第 6 章测验
章节 7: 专用架构介绍
前馈网络的局限性
卷积神经网络 (CNNs): 动因
CNN核心操作:卷积
CNN核心操作:池化
典型CNN架构
循环神经网络(RNN):缘由
循环与隐藏状态
基本RNN架构
简单循环神经网络的挑战 (梯度消失/梯度爆炸)
概述:LSTM与GRU
第 7 章测验

基本RNN架构

基本循环神经网络 (neural network) (RNN) 的结构包含了循环和隐状态。与信息严格单向流动的前馈网络不同,RNNs 包含一个循环,使得来自先前步骤的信息能够保留并影响当前步骤。这种内部记忆使得它们适合处理序列数据。

RNN 的核心是 RNN 单元。可以把这个单元看作是每个输入序列元素都会被重复使用的基本处理单元。在每个时间步 ttt,该单元接收两个输入:

  1. 序列中的当前输入元素,xtx_txt​。
  2. 来自上一时间步的隐状态,ht−1h_{t-1}ht−1​。

根据这些输入,该单元执行两个主要计算:

  1. 计算新的隐状态,hth_tht​。
  2. 为当前时间步生成一个输出,yty_tyt​。

其核心机制涉及使用特定的权重 (weight)矩阵和激活函数 (activation function)来组合当前输入 xtx_txt​ 和先前隐状态 ht−1h_{t-1}ht−1​。

RNN 单元内部

让我们分解一下在单个时间步 ttt 内一个简单 RNN 单元中发生的计算:

  1. 计算隐状态 (hth_tht​): 新的隐状态 hth_tht​ 通过对当前输入 xtx_txt​ 和先前隐状态 ht−1h_{t-1}ht−1​ 应用线性变换、添加偏置 (bias),然后将结果通过非线性激活函数 (activation function)(通常是 tanh 或 ReLU)计算得出。

    公式通常为:

    ht=tanh⁡(Wxhxt+Whhht−1+bh)h_t = \tanh(W_{xh} x_t + W_{hh} h_{t-1} + b_h)ht​=tanh(Wxh​xt​+Whh​ht−1​+bh​)

    这里:

    • xtx_txt​ 是时间步 ttt 的输入向量 (vector)。
    • ht−1h_{t-1}ht−1​ 是来自先前时间步 t−1t-1t−1 的隐状态向量。(对于第一个时间步 t=0t=0t=0, h−1h_{-1}h−1​ 通常初始化为零向量)。
    • WxhW_{xh}Wxh​ 是连接输入 xtx_txt​ 到隐状态的权重 (weight)矩阵。
    • WhhW_{hh}Whh​ 是连接先前隐状态 ht−1h_{t-1}ht−1​ 到当前隐状态 hth_tht​ 的权重矩阵。这是与“循环”连接或循环相关的矩阵。
    • bhb_hbh​ 是隐状态计算的偏置向量。
    • tanh 是激活函数的一个常见选择,它将值压缩到 -1 和 1 之间。
  2. 计算输出 (yty_tyt​): 当前时间步的输出 yty_tyt​ 通常通过对新计算出的隐状态 hth_tht​ 应用另一个线性变换、添加偏置,并根据具体任务(例如,如果任务是每步分类,则为 softmax 函数)可能通过另一个激活函数来计算。

    公式通常是:

    yt=activation(Whyht+by)y_t = \text{activation}(W_{hy} h_t + b_y)yt​=activation(Why​ht​+by​)

    这里:

    • hth_tht​ 是当前的隐状态向量。
    • WhyW_{hy}Why​ 是连接隐状态到输出的权重矩阵。
    • byb_yby​ 是输出计算的偏置向量。
    • activation 是适用于该问题的输出激活函数(例如,回归任务使用恒等函数,多类别分类使用 softmax)。

沿时间展开 RNN

为了更好地理解 RNN 如何处理序列,我们通常会沿时间“展开”网络。这意味着将网络绘制得好像是一个深度前馈网络,其中一层对应一个时间步。

一个沿时间展开的 RNN。每个 RNN 单元 块代表一个时间步的处理,它接收输入 xtx_txt​ 和先前隐状态 ht−1h_{t-1}ht−1​ 来生成输出 yty_tyt​ 和下一个隐状态 hth_tht​。注意隐状态 hhh 从一个时间步传递到下一个时间步(虚线所示)。重要的一点是,相同的权重 (weight)矩阵 (WxhW_{xh}Wxh​, WhhW_{hh}Whh​, WhyW_{hy}Why​) 在所有时间步中都被使用。

展开所体现的最重要方面是参数 (parameter)共享。权重矩阵 (WxhW_{xh}Wxh​, WhhW_{hh}Whh​, WhyW_{hy}Why​) 和偏置 (bias)向量 (vector) (bhb_hbh​, byb_yby​) 在每个时间步都是相同的。这使得模型高效,因为它不需要为每个输入位置单独设置一组参数。它学习了一种可以重复应用于整个序列的通用变换。

隐状态 hth_tht​ 充当网络的记忆。它捕获来自所有先前时间步 (x0,x1,...,xt−1x_0, x_1, ..., x_{t-1}x0​,x1​,...,xt−1​) 的信息,并将其与当前输入 xtx_txt​ 结合,以影响当前输出 yty_tyt​ 和随后的隐状态 ht+1h_{t+1}ht+1​。这种简单结构使得 RNN 能够建模序列内部的依赖关系,支撑着序列数据的处理。然而,正如我们接下来将看到的,这种基本架构在处理长序列时会遇到某些困难。

  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville, 2016 (MIT Press) - 这本教科书详细介绍了循环神经网络的架构,包括其结构、计算和时间展开的概念。
  • Finding structure in time, Jeffrey L. Elman, 1990 Cognitive Science, Vol. 14 (Wiley) DOI: 10.1207/s15516709cog1402_1 - 这篇论文介绍了简单循环网络,这是一种早期且有影响力的序列信息处理模型。

© 2026 ApX Machine Learning