ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

大师班

如何构建大语言模型
章节 1: 大型语言模型概论
定义大型语言模型
序列建模的历史背景
规模的重要性
计算方面的挑战概览
软件与硬件环境
章节 2: 大型语言模型的数学预备知识
线性代数回顾:向量与矩阵
微积分回顾:梯度与优化
概率与统计基础知识
数值稳定性考量
本课程中使用的符号表示
章节 3: 回顾序列处理架构
循环神经网络 (RNN) 的基本内容
简单RNN的局限性
长短期记忆(LSTM)网络
门控循环单元 (GRU)
基于RNN的序列到序列模型
章节 4: Transformer 架构
通过注意力机制解决循环问题
缩放点积注意力
多头注意力机制
位置编码方法
编码器与解码器堆叠
层归一化与残差连接的作用
章节 5: 大词汇量分词
子词分词的必要性
字节对编码 (BPE) 算法
WordPiece 分词
SentencePiece 实现
处理特殊分词
词汇量大小选择的权衡
章节 6: 大规模文本数据的获取与收集
确定潜在数据来源
使用 Common Crawl 数据
规模化网页抓取技术
使用开放许可数据集
数据获取的法律考量
章节 7: 数据清洗与预处理流水线
质量筛选策略
文本标准化方法
处理冗余内容与标记删除
近似重复和精确重复检测
语种识别与过滤
构建可扩展的预处理流水线
章节 8: 建立和管理大规模数据集
数据存储格式(文本、Arrow、Parquet)
分布式文件系统 (HDFS, S3)
数据索引用于高效检索
数据集版本管理与复现性
用于训练的流式数据加载器
章节 9: 训练中的数据取样策略
数据配比的重要性
来源权重策略
基于温度的采样
课程学习简介
数据步进与退火调度
章节 10: 从零开始实现Transformer
设置项目环境
实现缩放点积注意力
构建多头注意力层
实现位置感知前馈网络
构建编码器层和解码器层
组装完整的Transformer模型
章节 11: Transformer模型规模化:架构选择
神经网络语言模型的缩放定律
深度与宽度取舍
激活函数选择 (ReLU, GeLU, SwiGLU)
规范化层放置位置(前置LN vs. 后置LN)
稀疏注意力机制简介
章节 12: 深度网络的初始化方法
恰当初始化的重要性
Xavier(Glorot)初始化
Kaiming (何) 初始化
Transformer组件中的初始化
末尾层的小初始化
章节 13: 位置编码的变体
绝对位置编码的局限性
相对位置编码的原理
Shaw 等人的相对位置实现
Transformer-XL 相对位置编码
旋转位置编码 (RoPE)
章节 14: 高级架构改进
参数高效微调的需求
Transformer的适配器模块
专家混合模型 (MoE) 简介
MoE 中的路由机制
MoE 层中的负载均衡
章节 15: 分布式训练策略
动机:为什么要进行分布式训练?
数据并行 (DP)
张量并行 (TP)
流水线并行 (PP)
混合并行策略 (DP+TP, DP+PP等)
通信开销分析
章节 16: 实现分布式训练框架
分布式训练库概述
DeepSpeed 介绍
使用 DeepSpeed ZeRO 优化
Megatron-LM 介绍
配置 Megatron-LM 中的张量和流水线并行
结合框架与策略
章节 17: LLMs的优化算法
梯度下降算法变体回顾 (SGD, 动量)
自适应优化器:Adam和AdamW
学习率调度策略
梯度裁剪方法
选择优化器超参数 (lr, betas, eps, weight_decay)
章节 18: 大型语言模型训练的硬件考量
GPU 架构 (NVIDIA Ampere, Hopper)
TPU 架构(Google TPU)
内存需求(HBM、GPU显存)
互连技术 (NVLink, InfiniBand)
硬件选择的权衡 (成本、性能、可用性)
章节 19: 检查点和容错
长时间训练中检查点的必要性
保存模型状态(权重、优化器状态)
处理分布式检查点
异步检查点与同步检查点
检查点频率与存储管理
从检查点恢复训练
章节 20: 混合精度训练方法
浮点数格式(FP32、FP16、BF16)简介
低精度的好处(速度、内存)
FP16训练中的挑战(范围问题)
损失缩放技术
使用 BF16 (BFloat16) 格式
框架对混合精度(AMP)的支持
章节 21: 内在评估指标
语言模型评估方法
困惑度:定义与计算
理解困惑度得分
每字符/词比特数
分词对困惑度的影响
章节 22: 下游任务外部评估
下游任务评估的理由
常见下游自然语言处理任务
评估时的微调步骤
标准基准:GLUE 和 SuperGLUE
少量示例和零示例评估
开发定制评估任务
章节 23: 分析模型行为
解读大型语言模型的难题
注意力图可视化
探查内部表示
神经元激活分析
找出失效模式
章节 24: 识别与应对训练不稳定现象
不稳定性常见表现
监控训练指标(损失、梯度范数)
诊断损失飙升
调试数值精度问题
稳定方法回顾(梯度裁剪、学习率、预热)
架构选择对稳定性的影响
章节 25: 对齐微调:监督式微调 (SFT)
大型语言模型对齐的目标
监督微调(SFT)介绍
构建高质量指令数据集
SFT数据格式(提示词,回应)
SFT训练过程与超参数
评估SFT模型对齐目标
章节 26: 人类反馈强化学习 (RLHF)
RLHF 流程概述
收集人类偏好数据
训练奖励模型 (RM)
近端策略优化 (PPO) 介绍
RL PPO 微调
KL散度惩罚的作用
RLHF中的挑战与考量
替代方法:直接偏好优化 (DPO)
章节 27: 模型压缩技术
模型压缩的动因
权重量化 (INT8, INT4)
激活量化考量
网络剪枝(结构化与非结构化)
知识蒸馏
评估性能与压缩的权衡
章节 28: 高效推理策略
自回归解码中的挑战
键值(KV)缓存
优化的注意力实现 (FlashAttention)
吞吐量批处理策略
推测解码
章节 29: 大规模部署大型语言模型
LLM 交互的 API 设计
模型服务框架 (Triton, TorchServe)
处理并发请求
跨模型实例的负载均衡
监控服务性能和成本
章节 30: 持续训练与模型更新
持续改进的缘由
持续预训练策略
持续微调(SFT/RLHF)的策略
安全地整合新数据源
模型架构变动后的更新
版本管理、部署与回滚策略

推测解码

生成 NNN 个词元 (token)需要大型语言模型进行 NNN 次顺序前向传递,这是自回归 (autoregressive)生成中的一个根本限制。尽管像 KV 缓存这样的技术优化了单次前向传递内的计算,这种顺序依赖性依然自然限制了可达到的最大速度。推测解码提供了一种巧妙的方法来并行化此过程的部分内容,目标是在主大型模型每次单次前向传递中生成多个词元,从而降低总体的实际运行延迟。

核心思路在于使用两个模型:

  1. 目标模型 (Target Model): 大型、高质量语言模型,我们希望精确匹配其输出分布。这是我们最终希望用于生成的模型,但它速度慢。
  2. 草稿模型 (Draft Model): 一个小得多、速度更快的语言模型。该模型不如目标模型精确,但可以非常快地生成词元序列。

目标模型不再一次生成一个词元,过程如下:

  1. 草稿生成: 快速草稿模型“推测”或提议一个短序列,包含 kkk 个候选词元,紧随当前上下文 (context)。令当前序列为 x1..ix_{1..i}x1..i​。草稿模型生成 x^i+1,x^i+2,…,x^i+k\hat{x}_{i+1}, \hat{x}_{i+2}, \dots, \hat{x}_{i+k}x^i+1​,x^i+2​,…,x^i+k​。
  2. 目标验证: 大型目标模型随后执行单次前向传递,将原始上下文 x1..ix_{1..i}x1..i​ 和整个草稿序列 x^i+1..i+k\hat{x}_{i+1..i+k}x^i+1..i+k​ 作为输入。此单次传递根据目标模型,有效计算每个词元 j=1..kj=1..kj=1..k 的真实概率 pT(x^i+j∣x1..i,x^i+1..i+j−1)p_T(\hat{x}_{i+j} | x_{1..i}, \hat{x}_{i+1..i+j-1})pT​(x^i+j​∣x1..i​,x^i+1..i+j−1​)。重要的是,KV 缓存等技术在此仍然适用,使此验证步骤高效。
  3. 接受检查: 一种统计接受机制(通常基于拒绝采样)用于比较草稿模型的预测与目标模型验证的概率。对于每个草稿词元 x^i+j\hat{x}_{i+j}x^i+j​(从 j=1j=1j=1 开始):
    • 比较目标模型分配的概率 pT(x^i+j∣… )p_T(\hat{x}_{i+j} | \dots)pT​(x^i+j​∣…) 与草稿模型分配的概率 pD(x^i+j∣… )p_D(\hat{x}_{i+j} | \dots)pD​(x^i+j​∣…)。
    • 如果目标模型认为草稿词元 x^i+j\hat{x}_{i+j}x^i+j​ 足够可能(与草稿模型认为的概率相比),则接受该词元。一种常见方法是当 pT(x^i+j∣… )/pD(x^i+j∣… )≥ujp_T(\hat{x}_{i+j} | \dots) / p_D(\hat{x}_{i+j} | \dots) \ge u_jpT​(x^i+j​∣…)/pD​(x^i+j​∣…)≥uj​ 时接受,其中 uj∼U(0,1)u_j \sim U(0, 1)uj​∼U(0,1) 是一个随机数。
    • 此检查顺序进行,从 j=1j=1j=1 到 kkk。如果任何词元 x^i+j\hat{x}_{i+j}x^i+j​ 被拒绝,过程在该点停止接受词元。令 nnn 为接受的词元数量(0≤n<k0 \le n < k0≤n<k)。
  4. 修正/继续:
    • 如果接受了 n<kn < kn<k 个词元(意味着 x^i+n+1\hat{x}_{i+n+1}x^i+n+1​ 被拒绝),序列 x1..i+nx_{1..i+n}x1..i+n​ 现在已确定。下一个词元 xi+n+1x_{i+n+1}xi+n+1​ 从一个修改过的分布中采样,该分布来源于目标模型的概率和草稿模型在该位置的概率,确保整体分布与目标模型匹配。
    • 如果所有 kkk 个词元都被接受(n=kn = kn=k),序列 x1..i+kx_{1..i+k}x1..i+k​ 已确定。目标模型的前向传递已经计算了下一个词元 xi+k+1x_{i+k+1}xi+k+1​ 的分布,所以我们直接从 pT(x∣x1..i+k)p_T(x | x_{1..i+k})pT​(x∣x1..i+k​) 采样。
  5. 重复: 过程从步骤1重复,使用新扩展的序列。

潜在的加速来自于如果一个周期中接受了 n>0n > 0n>0 个词元,我们就有效生成了 n+1n+1n+1 个词元(nnn 个接受的词元加上最终采样的词元),仅使用昂贵的目标模型的一次前向传递和草稿模型的 kkk 次快速前向传递。如果草稿模型足够准确,接受率(nnn 接近 kkk)可以很高,从而大幅减少生成时间。重要的是,统计接受机制确保最终生成的序列遵循目标模型的精确概率分布。

流程图,说明推测解码过程。草稿模型提出词元,目标模型在单次传递中验证它们,接受循环决定在采样下一个词元之前保留多少个提出的词元。

实现考量

  • 草稿模型选择: 选择合适的草稿模型很重要。它需要比目标模型快很多(例如,更少的层/参数 (parameter),蒸馏模型)。但是,如果其预测与目标模型的差异过大,接受率会很低,抵消性能优势。在速度和预测质量之间找到平衡是必要的。
  • 步数 (kkk): 选择推测步数 kkk 涉及权衡。较大的 kkk 为每次目标模型推理 (inference)提供了更大的加速潜力。但是,草稿模型在较长序列上的预测可能与目标模型偏离更多,降低所有 kkk 个词元 (token)都被接受的概率。最佳 kkk 通常取决于模型和任务。
  • 开销: 尽管在实际运行时间上更快,推测解码需要将目标模型和草稿模型都保留在内存中,增加了内存占用。运行草稿模型和执行接受检查也有计算开销。

以下是一个类似 PyTorch 的代码片段,说明了核心循环结构:

import torch
import torch.nn.functional as F

def speculative_decode_step(target_model, draft_model, input_ids, k):
    """
    执行推测解码的一个步骤。
    假设模型返回对数(logits)并在内部处理 KV 缓存。
    这是一个简化说明。
    """
    # 1. 草稿生成
    # (使用草稿模型的自回归生成)
    draft_output_ids = draft_model.generate(input_ids, max_new_tokens=k, ...)
    # 只获取 k 个新词元
    draft_ids = draft_output_ids[:, input_ids.shape[-1]:]

    # 将原始输入与草稿词元结合用于验证
    verify_ids = torch.cat([input_ids, draft_ids], dim=-1)

    # 2. 目标验证 (单次前向传递)
    # target_logits 的形状: [batch_size, verify_seq_len, vocab_size]
    with torch.no_grad(): # 确保不计算梯度
        target_logits = target_model(verify_ids).logits

    # 提取草稿位置的目标概率
    # 我们查看用于预测 draft_ids[j] 的对数,给定
    # 前导词元
    # target_probs 的形状: [batch_size, k, vocab_size]
    target_probs = F.softmax(
        target_logits[:, input_ids.shape[-1]-1:-1, :],
        dim=-1
    )

    # 同时获取草稿模型对草稿词元的概率
    # (可能需要单独调用或作为 draft_model.generate 的一部分)
    # 假设 draft_probs 的形状为 [batch_size, k, vocab_size]
    # draft_probs = get_draft_probs(
    #     draft_model, input_ids, draft_ids
    # ) # 占位函数

    accepted_count = 0
    for j in range(k):
        # 获取在步骤 j *被*选作草稿的特定词元的概率
        # 形状 [batch_size, 1]
        p_target = target_probs[:, j, draft_ids[:, j]].unsqueeze(-1)
        # 形状 [batch_size, 1]
        p_draft = draft_probs[:, j, draft_ids[:, j]].unsqueeze(-1)

        # 添加 epsilon 以提高数值稳定性
        ratio = p_target / (p_draft + 1e-8)
        # 形状 [batch_size, 1]
        random_uniform = torch.rand_like(ratio)

        # 检查批处理中所有项是否被接受
        if (ratio >= random_uniform).all():
            accepted_count += 1
        else:
            # 发生了拒绝
            # 基于修改的分布采样第 (accepted_count + 1) 个词元
            # p_modified = (target_probs[:, j, :]
            #              - random_uniform * draft_probs[:, j, :]).clamp(min=0)
            # p_modified /= p_modified.sum(dim=-1, keepdim=True)
            # next_token = torch.multinomial(p_modified, num_samples=1)
            # final_ids = torch.cat([
            #     input_ids,
            #     draft_ids[:, :accepted_count],
            #     next_token
            # ], dim=-1)
            # return final_ids
            break # 简化:停止接受

    if accepted_count == k:
        # 所有 k 个都接受,从目标模型的最后分布采样第 (k+1) 个词元
        next_token_probs = F.softmax(target_logits[:, -1, :], dim=-1)
        next_token = torch.multinomial(next_token_probs, num_samples=1)
        final_ids = torch.cat([input_ids, draft_ids, next_token], dim=-1)
    else:
        # 在 accepted_count + 1 处发生拒绝
        # 简化:仅为说明返回已接受的前缀
        # 实际实现会在这里采样修正后的词元
        final_ids = torch.cat(
            [input_ids, draft_ids[:, :accepted_count]], dim=-1
        )
        # 需要基于修正的分布采样下一个词元

    return final_ids # 返回扩展序列

# 示例用法
# current_tokens = ... # 初始序列
# new_tokens = speculative_decode_step(
#     large_model, small_model, current_tokens, k=5
# )

推测解码代表了一个有前景的方向,用于加速大型语言模型推理,在对延迟敏感的应用中尤其有价值。尽管它与标准自回归 (autoregressive)解码相比引入了额外的复杂度,但显著加速的潜力通常值得付出努力,特别是当与 KV 缓存和优化注意力核等其他优化技术结合时。

© 2026 ApX Machine Learning