趋近智
虽然长短期记忆 (LSTM) 网络提供了一种使用多个门控来获取长期依赖关系的有效方法,但门控循环单元 (GRU) (GRUs) 提供了一种相关且通常更简单的替代方案。
本章介绍 GRU 架构。我们将查看它的组成部分,特别是更新门 () 和重置门 (),并了解它们如何共同作用以控制信息流动并更新隐藏状态。我们将了解候选隐藏状态是如何计算并与先前的隐藏状态结合的。
我们还将直接比较 GRU 和 LSTM,讨论它们的结构差异、相对计算效率,并为特定序列建模任务选择合适的门控单元提供实用指导。
6.1 介绍GRU:一种更简洁的门控架构
6.2 GRU 单元结构
6.3 更新门
6.4 重置门
6.5 计算候选隐藏状态
6.6 计算最终隐藏状态
6.7 GRU与LSTM的比较
6.8 计算效率考量
6.9 何时选择 GRU 或 LSTM