ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

吞吐量批处理策略

优化单个令牌生成(通过KV缓存和专用注意力机制 (attention mechanism)等方法)能够显著降低每一步的延迟和内存开销,但要最大化LLM推理 (inference)服务器的总体吞吐量 (throughput),就需要同时处理多个请求。GPU是深度学习 (deep learning)的运算主力,在进行大型矩阵乘法时能达到最佳性能。逐个处理请求通常会导致GPU利用率不足,因为控制逻辑和步骤间的数据传输可能占据单个序列的大部分计算时间。批处理策略通过将多个推理请求组合在一起,让GPU并行处理它们,从而分摊开销并增加每秒生成的令牌数量。

静态批处理

静态批处理是最简单的方法。在这种方法中,推理 (inference)服务器会等待,直到预设数量的请求(batch_size)到达或发生超时。然后这些请求被分组,填充到批处理中最长序列的长度,并一起处理。

填充是指在批处理中较短的序列后添加特殊令牌,使所有序列具有相同的长度。这会生成GPU上进行高效矩阵乘法所需的统一张量形状。注意力掩码在这里很实用,它能确保模型在自注意力 (self-attention)计算期间不会关注这些填充令牌。

import torch

# 示例:准备一个静态批处理
requests = [
    "This is sequence one.",
    "A shorter sequence.",
    "This is the third sequence, and it's quite long."
]

# 假设分词器添加特殊令牌并转换为ID
# 分词后的序列(简化ID)
seq1_ids = [101, 2023, 2003, 5537, 2028, 1012, 102] # len=7
seq2_ids = [101, 1037, 9087, 5537, 1012, 102]      # len=6
seq3_ids = [
    101, 2023, 2003, 1996, 2353, 5537, 1010, 1998, 2009, 1005, 1055,
    3747, 2146, 1012, 102
] # len=15

sequences = [seq1_ids, seq2_ids, seq3_ids]
max_len = max(len(seq) for seq in sequences) # max_len = 15
padding_token_id = 0 # 假设PAD令牌ID为0

padded_sequences = []
attention_masks = []

for seq in sequences:
    pad_len = max_len - len(seq)
    padded_seq = seq + [padding_token_id] * pad_len
    # 屏蔽填充部分
    attention_mask = ([1] * len(seq) +
                      [0] * pad_len)

    padded_sequences.append(padded_seq)
    attention_masks.append(attention_mask)

# 转换为张量作为模型输入
input_ids = torch.tensor(padded_sequences)
attention_mask = torch.tensor(attention_masks)

print("Input IDs Shape:", input_ids.shape) # torch.Size([3, 15])
print("Attention Mask Shape:", attention_mask.shape) # torch.Size([3, 15])

# 现在 input_ids 和 attention_mask 可以作为模型输入
# model(input_ids=input_ids,
#       attention_mask=attention_mask, ...)

静态批处理的局限:

  • 低效: 大量计算资源浪费在填充令牌上,尤其当批处理中序列长度差异很大时。批处理时间由最长序列决定。
  • 队头阻塞: 较短的请求可能会经历更高的延迟,因为它们需要等待足够多的请求来形成一个完整批处理,或者等待同一批处理中的一个长请求完成。

动态批处理

动态批处理旨在通过在小时间窗内对到达的请求进行分组,而不是等待固定的批处理大小,从而提高GPU利用率,优于静态批处理。这通常会导致批处理中的序列长度差异更大。尽管它仍然需要填充,但服务器可以更频繁地开始处理批处理。

其主要思路是灵活性。服务器不使用固定的batch_size,而是在短时间内(例如10毫秒)积累请求,然后将所有已到达的请求作为一个批处理进行处理。

# 动态批处理的服务器逻辑
import time
import queue

request_queue = queue.Queue()
MAX_WAIT_TIME_MS = 10
MAX_BATCH_SIZE = 16 # 可选的上限

def process_batch(batch):
    # (与静态批处理类似的填充逻辑)
    # ... 分词、填充、创建掩码 ...
    # input_ids, attention_mask = prepare_batch(batch)
    # with torch.no_grad():
    #   outputs = model(input_ids=input_ids, attention_mask=attention_mask)
    # ... 处理输出 ...
    print(f"Processed batch of size {len(batch)}")

while True:
    batch = []
    start_time = time.time()
    while True:
        try:
            # 非阻塞检查新请求
            request = request_queue.get_nowait()
            batch.append(request)
            if len(batch) >= MAX_BATCH_SIZE: # 如果达到最大大小
                break
        except queue.Empty:
            # 检查是否超出等待时间
            if (time.time() - start_time) * 1000 > MAX_WAIT_TIME_MS:
                break
            # 可选的短时间睡眠以避免忙等
            time.sleep(0.001)

    if batch:
        process_batch(batch)
    else:
        # 没有请求,可能睡更长时间
        time.sleep(0.01)

尽管动态批处理优于静态批处理,但它仍然存在填充效率低下的问题,并且在自回归 (autoregressive)生成过程中,整个批处理的进度由最慢(最长)的序列决定。如果一个序列需要500个令牌而其他序列只需要50个,那么批处理槽位将一直被占用,直到500个令牌的生成完成,这会导致批处理中已完成序列的GPU空闲(通常称为“气泡”)。

连续批处理

连续批处理(也称为迭代级调度或动态拆分融合)是一种更精巧的方法,旨在通过解决简单批处理方法的不足来最大化吞吐量 (throughput)。它将服务器级别的批处理与生成过程的迭代步骤分离。

连续批处理不是处理一个固定批处理直到所有序列都完成,而是按迭代进行操作:

  1. 请求池: 维护一个当前正在生成中的活动请求池。
  2. 迭代批处理: 在每个生成步骤(即为所有活动序列生成下一个令牌时),从池中选择准备好生成下一个令牌的序列子集。然后从这些序列形成一个批处理。
  3. 前向传播: 对本次迭代的批处理执行一次前向传播(一个令牌生成步骤)。
  4. 更新池:
    • 将新生成的令牌添加到已处理批处理中的每个序列。
    • 检查是否有任何序列达到其停止条件(例如,EOS令牌、最大长度)。如果达到,则将它们从活动池中移除并返回完成的结果。
    • 检查是否有新的传入请求,如果容量允许,则将其添加到活动池中。
  5. 重复: 返回步骤2进行下一次生成迭代。

连续批处理的简化流程。从活动请求中形成迭代批处理,由GPU处理,然后用新令牌、已完成序列和传入请求更新请求池。

主要的优点是,只要有任何活动序列准备好生成,GPU就会保持忙碌。当一个序列完成时,它在下一次迭代批处理中的位置可以立即被池中另一个序列或新到达的请求占用。这避免了静态/动态批处理中GPU等待批处理中最长序列完成的“气泡”问题。Orca、vLLM、TensorRT-LLM和Text Generation Inference (TGI) 等系统都实现了连续批处理的不同形式。

实现考量与权衡

  • KV缓存管理: 批处理,特别是连续批处理,需要细致地管理KV缓存。批处理中的每个序列都需要在生成步骤中维护自己独立的KV缓存状态。这些可能数量众多且动态变化的缓存的内存分配和访问效率至关重要。PagedAttention是vLLM等系统中用于更高效管理KV缓存内存,减少碎片化的一种方法。
  • 吞吐量 (throughput)与延迟: 批处理在根本上是用增加延迟来换取更高的吞吐量。将请求分组意味着与立即处理相比,某些请求在开始处理前会等待更长时间。然而,整个系统的容量(令牌/秒)会显著增加。批处理策略和参数 (parameter)(例如,最大批处理大小,动态批处理的等待时间)的选择取决于特定应用程序对延迟和吞吐量的要求。更大的批处理大小通常会增加吞吐量,但也会增加平均延迟。
  • 框架支持: 深度学习 (deep learning)框架和专用服务工具包通常提供批处理实用程序。例如,当你向模型或分词 (tokenization)器 (tokenizer)提供输入列表时,Hugging Face的transformers库会自动处理填充和注意力掩码。专用的推理 (inference)服务器(Triton、TorchServe、TGI、vLLM)提供更先进的批处理功能,包括动态和连续批处理,并针对生产工作负载进行了优化。

总而言之,批处理对于高效的LLM推理不可或缺。尽管静态批处理简单,但动态批处理,尤其是连续批处理,通过并行处理多个请求并动态管理跨生成步骤的工作负载,在GPU利用率和总体吞吐量方面提供了显著的改进。选择和调整正确的批处理策略是在大规模部署LLM时一个重要考量。

  • vLLM: Efficient LLM Serving with PagedAttention, Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Ion Stoica, 2023 arXiv preprint arXiv:2309.06180 (arXiv) DOI: 10.48550/arXiv.2309.06180 - 介绍了 PagedAttention,一种用于 KV 缓存的内存管理技术,显著提升了 LLM 推理中连续批处理的效率。
  • Text Generation Inference: A Production Ready Framework for LLM Serving, Olivier Dehaene, Félix Marty, João Gante, Quentin Lhoest, Victor Sanh, et al., 2023 (Hugging Face Blog) - 详细介绍了 Hugging Face 的文本生成推理的架构和功能,其中包含了针对生产工作负载优化的连续批处理实现。

© 2026 ApX Machine Learning