趋近智
正如我们在上一章讨论的,标准前馈神经网络 (neural network)在处理序列数据时有一个基本局限:它们没有记忆功能。每个输入都被独立处理,不考虑之前输入提供的顺序或语境。想象一下阅读这个句子。为了理解“句子”这个词的含义,你的大脑会使用前面词语“阅读这个”提供的语境。前馈网络无法自然地做到这一点。它们是为固定大小的输入设计的,在这些输入中,顺序本身不以同样的方式带有含义。
循环神经网络 (RNN)(RNNs)的主要思想是,它不一次性处理整个序列,也不单独处理每个元素,而是一次处理一个元素,迭代地处理序列。
设想处理一个序列 。RNN接收第一个元素 ,对其进行处理,并生成一个内部状态(通常称为隐藏状态),我们称之为 。当处理第二个元素 时,RNN不仅仅查看 。它还会考虑从第一步获得的信息,这些信息归纳在隐藏状态 中。它将新的输入 与先前的状态 结合,以计算下一个隐藏状态 。
这个过程对序列中的每个元素都重复:
隐藏状态 充当网络的记忆。它捕获了网络认为与处理当前元素 和未来元素相关的所有先前元素 () 的信息。这个状态从一个时间步传递到下一个时间步,从而在网络连接中形成一个循环或递归。
RNN 处理一步的示意图。输入 和先前的隐藏状态 通过 RNN 操作结合,生成当前的隐藏状态 。这个状态 随后被传递到下一个时间步(处理 )使用,并且可以在这一步生成一个可选输出 。
这种带有持久状态的迭代处理与前馈网络本质上不同。前馈网络对每个输入独立应用相同的转换,而RNN在每一步应用相同的转换规则(RNN单元内相同的权重 (weight)集合),但其结果(隐藏状态 和输出 )既取决于当前输入 ,也取决于归纳在 中的历史信息。
这种维持语境的能力使RNN天生适合处理顺序很重要且信息需要随时间累积的任务,例如理解语言、预测时间序列或分析音频信号。图中“RNN操作”框内使用的具体数学函数规定了先前的状态和当前输入如何结合,我们将在接下来的章节中查看这些细节。
这部分内容有帮助吗?
© 2026 ApX Machine LearningAI伦理与透明度•