趋近智
理解Transformer模型的根本构架与运作方式。本课程涵盖注意力机制 (attention mechanism)、编码器-解码器结构,以及其在自然语言处理方面取得顶尖成果的核心要素。
先修课程 机器学习与Python要点
级别:
注意力机制
阐述注意力的含义,并区分不同的注意力机制。
自注意力
说明自注意力如何让模型评估序列中不同词语的重要性。
Transformer构架
概述Transformer模型的组成部分,包括编码器和解码器堆叠。
多头注意力
理解多头注意力的原理及实现方法。
位置编码
阐明引入序列顺序信息的必要性及具体做法。
初步实现
使用深度学习框架实现Transformer构架的核心构成。