ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

评估时的微调步骤

为了有效地评估预训练 (pre-training)大语言模型(LLM)在下游任务上的表现,我们通常需要根据目标任务的特定格式和目标对其进行一些调整。这个过程称为微调 (fine-tuning)。虽然零样本或少样本评估(稍后讨论)测试模型固有的泛化能力,但微调使模型能够从标注数据中学习任务特定模式,通常能获得更高表现,并更清晰地呈现预训练模型在该任务上的潜在作用。

微调使用预训练期间学到的强大表征,并使用相对少量任务特定的标注数据进行调整。核心观点是预训练模型已经理解语言结构、语义和语境;微调只是教它如何将这些知识应用于新的问题形式。

通用微调 (fine-tuning)流程

对用于评估下游任务的LLM进行微调的标准流程包含以下步骤:

  1. 加载预训练 (pre-training)模型: 从预训练LLM的权重 (weight)开始。这可以是您自己训练的模型,也可以是公开可用的检查点(例如,来自Hugging Face Hub)。
  2. 调整模型架构: 通过添加任务特定的“头部”来修改模型。该头部通常是一个或多个小型神经网络 (neural network)层,放置在预训练模型的核心结构(例如Transformer块)之上。此头部的类型完全取决于下游任务。
  3. 准备任务数据集: 获取下游任务的标注数据集。这涉及根据模型和任务头部的要求格式化输入数据,并使用模型预训练期间使用的相同分词 (tokenization)器 (tokenizer)对文本进行分词。
  4. 定义目标: 选择适合任务的损失函数 (loss function)(例如,分类的交叉熵损失,回归的均方误差)。
  5. 训练: 运行训练循环,更新整个模型或仅更新新添加的头部以及预训练模型的顶层权重。使用适合的优化器(如AdamW)和学习率调度。训练通常仅在任务数据集上运行几个周期。
  6. 评估: 使用与下游任务相关的指标(例如,准确率、F1分数、ROUGE、BLEU)在保留测试集上衡量表现。

流程图如下:

预训练LLM的核心层为新添加的任务特定头部提供输入表征。该头部进行预测,然后使用任务特定的损失函数与任务数据集中的标签进行比较。此损失产生的梯度会更新头部的权重,通常也会更新部分或全部预训练层的权重。

任务特定头部和数据格式化

调整步骤主要涉及添加正确的头部和适当的数据格式化。我们来看看常见例子:

文本分类

  • 目标: 为一段文本分配类别标签(例如,情感分析、主题分类)。
  • 头部: 通常是一个线性层,它获取指定token(如BERT风格模型中的[CLS] token,或因果模型中的最后一个token)的最终隐藏状态,并将其投射到输出类别的数量。在线性层之前通常会添加一个dropout层用于正则化 (regularization)。
  • 输入格式: 对于BERT等模型,输入通常格式化为[CLS] text_sequence [SEP]。对于因果模型(如GPT),输入可能只是text_sequence,并使用最后一个token的表征。
  • 损失: 交叉熵损失是多类别分类的标准选择。
import torch
import torch.nn as nn
from transformers import ( # Example using Hugging Face Transformers
    AutoModel, AutoTokenizer
)

# 加载预训练模型(例如BERT)
model_name = "bert-base-uncased"
pretrained_model = AutoModel.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# 定义分类头部
num_labels = 3 # 示例:积极、消极、中性情感
hidden_size = pretrained_model.config.hidden_size
classification_head = nn.Sequential(
    nn.Dropout(0.1),
    nn.Linear(hidden_size, num_labels)
)

# 示例输入处理
text = "This is an example sentence."
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

# 前向传播(简化)
# 从预训练模型获取隐藏状态
outputs = pretrained_model(**inputs)
# 使用[CLS] token(第一个token)的表征
cls_representation = outputs.last_hidden_state[:, 0, :]
# 经过分类头部
logits = classification_head(cls_representation)

# 'logits'现在包含每个类别的原始分数
# 训练期间使用这些logits和目标标签应用交叉熵损失

抽取式问答 (QA)

  • 目标: 在给定的上下文 (context)段落中找到回答特定问题的文本片段(例如,SQuAD基准)。
  • 头部: 通常包含两个线性层。一个预测上下文中每个token作为答案片段起始的概率,另一个预测每个token作为答案片段结束的概率。
  • 输入格式: 通常将问题和上下文结合起来,并用特殊token分隔:[CLS] question_text [SEP] context_text [SEP]。
  • 损失: 交叉熵损失分别计算起始和结束位置。模型被训练来预测上下文中正确的起始和结束token索引。在推理 (inference)时,需要进行后处理以找到最可能且有效的片段(结束索引需大于或等于起始索引)。
# (接续之前的导入)

# 定义问答头部
qa_head = nn.Linear(hidden_size, 2)
# 输出:每个token的start_logit, end_logit

# 示例输入处理
question = "What is the capital of Malaysia?"
context = "Malaysia is a Southeast Asian country. Kuala Lumpur is its capital and largest city."
inputs = tokenizer(
    question,
    context,
    return_tensors="pt",
    padding=True,
    truncation=True
)

# 前向传播(简化)
outputs = pretrained_model(**inputs)
sequence_output = outputs.last_hidden_state
# 形状:(批量大小, 序列长度, 隐藏维度)

# 将序列输出通过问答头部
logits = qa_head(sequence_output) # 形状:(批量大小, 序列长度, 2)
start_logits, end_logits = logits.split(1, dim=-1)
start_logits = start_logits.squeeze(-1) # 形状:(批量大小, 序列长度)
end_logits = end_logits.squeeze(-1)    # 形状:(批量大小, 序列长度)

# 'start_logits'和'end_logits'包含起始/结束位置的分数
# 训练期间使用这些以及目标起始/结束索引应用交叉熵损失
# during training

序列到序列任务

  • 目标: 根据输入序列生成文本序列(例如,摘要、翻译、对话生成)。
  • 头部: 对于编码器-解码器模型(如T5、BART),预训练 (pre-training)的解码器已作为生成头部。对于仅解码器模型(如GPT),标准语言建模头部(预测下一个token)直接用于生成。微调 (fine-tuning)调整模型,使其根据特定输入格式生成输出(例如,在输入文本前添加“summarize: ”这样的前缀)。
  • 输入格式: 根据任务而异。对于摘要:input_article。对于翻译:translate English to French: input_english_sentence。目标序列在训练期间用作标签。
  • 损失: 交叉熵损失,计算生成序列token与目标序列的比较(训练期间通常使用教师强制,即模型会看到真实的前一个token)。

微调 (fine-tuning)的训练考量

微调涉及训练,但与预训练 (pre-training)相比有一些差异:

  • 学习率: 通常使用显著更小的学习率(例如,1e−51e-51e−5到5e−55e-55e−5)。预训练模型的权重 (weight)已经良好初始化,因此大幅更新可能破坏已学到的表征。
  • 优化器: AdamW因其有效性和对权重衰减的处理能力,仍然是常见选择。
  • 批量大小: 常受限于GPU内存,特别是对于较大模型。有效批量大小有时可通过梯度累积来增加。
  • 周期数: 微调通常只需要少量周期(通常1-5个)。在较小的特定数据集上训练过长时间可能导致过拟合 (overfitting)并降低模型的通用能力。
  • 学习率调度: 带有短暂热身期(例如,在训练步骤的前6-10%进行热身)的线性衰减调度通常有效。
  • 权重衰减: 作为正则化 (regularization)技术应用,类似于预训练。
  • 冻结层: 有时,最初只训练任务特定头部和预训练模型的顶层几层,保持底层冻结。这可以节省计算并防止灾难性遗忘,尽管如果数据充足,全面微调(更新所有参数 (parameter))通常会带来最佳表现。

简化微调 (fine-tuning)循环示例(PyTorch)

import torch
from torch.optim import AdamW
from torch.utils.data import DataLoader, Dataset
from transformers import get_linear_schedule_with_warmup

# 假设'model'包含预训练骨干和任务特定头部
# 假设'train_dataset'是一个PyTorch数据集,生成格式化、
# 分词后的输入和标签
# 假设'loss_fn'是适合的损失函数(例如nn.CrossEntropyLoss)

learning_rate = 3e-5
num_epochs = 3
batch_size = 16
warmup_steps = 100
total_training_steps = len(train_dataset) * num_epochs // batch_size # 近似值

optimizer = AdamW(model.parameters(), lr=learning_rate)
scheduler = get_linear_schedule_with_warmup(optimizer,
                                           num_warmup_steps=warmup_steps,
                                           num_training_steps=total_training_steps)
train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.train()

for epoch in range(num_epochs):
    for batch in train_dataloader:
        # 将批次数据移动到设备
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['labels'].to(device) # 假设标签是批次的一部分

        # 清除之前的梯度
        optimizer.zero_grad()

        # 前向传播 - 获取模型预测(logits)
        # 获取logits的确切方法取决于模型和头部结构
        # 对于分类:logits = model(
        #     input_ids=input_ids, attention_mask=attention_mask).logits
        # 对于问答:outputs = model(...); start_logits, end_logits =
        #     outputs.start_logits, outputs.end_logits
        # 这需要根据具体的模型包装器和任务进行调整
        outputs = model(input_ids=input_ids,
                        attention_mask=attention_mask)
        logits = outputs.logits # 根据实际模型输出结构调整

        # 计算损失
        # 损失计算取决于任务(例如,logits与标签的形状)
        # 对于分类:loss = loss_fn(
        #     logits.view(-1, num_labels), labels.view(-1))
        # 对于问答:loss = (loss_fn(start_logits, start_positions) +
        #                  loss_fn(end_logits, end_positions)) / 2
        loss = loss_fn(logits, labels) # 根据特定任务损失需求调整

        # 反向传播
        loss.backward()

        # 更新权重
        optimizer.step()
        scheduler.step()

    print(f"周期 {epoch + 1} 完成。上一个批次的损失:{loss.item()}")

# 训练后,使用任务特定指标在测试集上进行评估

评估指标

重要的是,微调 (fine-tuning)后,模型使用下游任务特有的指标进行评估。对于分类,这可能是准确率或F1分数。对于问答,精确匹配(EM)和预测答案token的F1分数是常见的。对于摘要,ROUGE分数(ROUGE-1、ROUGE-2、ROUGE-L)是标准指标,衡量与参考摘要的重叠度。对于翻译,BLEU分数常被使用。这些外部指标直接衡量模型在其所适应任务上的表现,补充了来自困惑度等内部指标的信息。

微调是评估和调整LLM的有效方法。尽管它需要标注数据和计算资源(虽然远少于预训练 (pre-training)),但它使我们能够评估预训练模型所学知识如何有效地迁移以解决特定实际问题。通过微调获得的结果通常代表着该特定任务中潜在的预训练模型具有的强劲表现基准。

  • BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, 2018 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) DOI: 10.48550/arXiv.1810.04805 - 介绍了BERT模型以及针对自然语言处理任务的预训练和微调方法,其中包含与本节内容相关的示例。
  • Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, 2017 Advances in Neural Information Processing Systems 30 (NIPS 2017) DOI: 10.48550/arXiv.1706.03762 - 介绍了Transformer架构,它是本节讨论的各种大型语言模型的核心组成部分。
  • Hugging Face Transformers Documentation, Hugging Face, 2024 (Hugging Face) - Hugging Face Transformers库的官方文档,为微调过程的实现提供了实用指南。

© 2026 ApX Machine Learning