趋近智
前几章讨论了文本表示方法,如TF-IDF,这些方法通常不考虑词语的顺序。然而,语言本身是序列化的;词语的排列方式带有重要意义。本章着重介绍旨在处理数据顺序很重要的模型。
我们将从循环神经网络 (neural network) (RNN)(RNNs)的基本原理讲起,解释它们如何通过维护状态来处理序列。你将了解训练RNN时一个常见难题,即梯度消失问题。之后,我们将查看为解决此局限性而发展出的更复杂的架构:长短期记忆(LSTM)网络和门控循环单元 (GRU)(GRUs)。我们将讲解它们的核心机制,并最后讨论这些序列感知的模型如何应用于各种自然语言任务,以及一个实际的实现练习。
5.1 序列感知的必要性
5.2 循环神经网络(RNN)基础
5.3 理解梯度消失问题
5.4 长短期记忆(LSTM)网络
5.5 门控循环单元 (GRUs)
5.6 将序列模型应用于文本
5.7 动手实践:构建一个简单的序列模型