趋近智
Transformer模型入门
章节 1: 序列建模与注意力机制基础
序列到序列任务的挑战
回顾：循环神经网络 (RNN)
传统循环神经网络方法的局限性
注意力机制原理介绍
注意力分数计算：一个宏观视角
来自注意力权重的上下文向量
章节 2: 自注意力与多头注意力
自注意力的原理
自注意力机制中的查询、键和值向量
缩放点积注意力机制
自注意力得分可视化
多头注意力简介
多头注意力机制如何运作
多头注意力机制的优势
动手实践：实现缩放点积注意力
章节 3: Transformer 编码器-解码器架构
整体架构概览
输入嵌入层
位置信息的必要性
位置编码说明
编码器层堆叠
加法与归一化层 (残差连接)
逐位置前馈网络
解码器堆栈
带掩码的多头自注意力
编码器-解码器注意力机制
最终线性层和Softmax
动手实践：构建编码器层
章节 4: Transformer模型的训练与实现
数据准备：分词
构建输入批次
序列任务的损失函数
优化策略
正则化方法
基本实现概述
使用预训练模型库（简述）
实践：组装一个基本Transformer
构建输入批次
这部分内容有帮助吗？
- Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems DOI: 10.48550/arXiv.1706.03762 - 描述了Transformer架构，包括注意力机制以及在编码器和解码器中使用掩码来管理序列信息。
- Preprocessing data, Hugging Face, 2024 - 提供了使用Hugging Face
transformers库为Transformer模型进行分词、填充和注意力掩码创建的实用指南。 - Speech and Language Processing (3rd ed. draft), Daniel Jurafsky and James H. Martin, 2023 (Stanford University) - 一本全面的教材，涵盖了核心NLP概念，包括序列模型的数据准备技术以及Transformer架构的细节，这些架构隐含地依赖于填充和掩码。
- Writing Custom Datasets, DataLoaders and Transforms, PyTorch Team, 2024 - 解释了PyTorch中
Dataset和DataLoader的基本概念，这对于包括Transformer在内的深度学习模型的数据准备流程中的批处理和自定义填充逻辑至关重要。