ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化?
数值表示:浮点数与定点数
量化中的整数数据类型
量化方案:对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
第 1 章测验
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准:选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践:应用静态PTQ
第 2 章测验
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ:激活感知权重量化
SmoothQuant:减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践:使用 GPTQ 进行量化
第 3 章测验
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践:搭建简单量化感知训练运行环境
第 4 章测验
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF:结构与使用
GPTQ格式:库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践:转换和加载量化格式
第 5 章测验
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践:量化大型语言模型的基准测试
第 6 章测验

静态量化与动态量化

训练后量化 (quantization)(PTQ)提供了两种主要处理模型激活的方法:静态量化和动态量化。它们的主要区别在于激活的量化参数 (parameter)(缩放因子和零点)是何时确定和应用的。在这两种方案中,权重 (weight)通常都在离线(推理 (inference)前)进行量化。

静态量化 (quantization)

静态量化是在执行推理 (inference)之前对模型权重 (weight)和激活进行量化。由于激活的取值范围可能因输入数据而异,静态量化需要一个校准步骤。

  1. 校准: 将一个有代表性的数据集(校准数据集)以其原始精度(例如,FP32FP32FP32)通过模型。模型中各个点(例如,特定层的输出)的激活值的典型取值范围(最小值和最大值)会被观察并记录下来。
  2. 参数 (parameter)计算: 基于校准期间观察到的范围,为模型内不同量化点的激活计算固定的量化参数(缩放因子和零点)。这些参数的选择旨在合理地表示观察到的激活分布。
  3. 离线量化: 权重和激活(使用计算出的静态参数)都被量化并存储为INT8INT8INT8等低精度格式。
  4. 推理: 在推理过程中,模型主要使用整数运算执行计算,因为权重和激活量化参数都已预先确定。输入数据使用校准期间为第一层输入确定的参数进行量化,并且中间激活在层与层之间尽可能保持量化格式。

静态量化工作流程:校准在离线阶段确定激活参数,从而在推理期间实现高效的纯整数计算。

优点:

  • 更高的潜在性能: 由于所有量化参数都预先固定,推理可以在支持的硬件(CPU、GPU、加速器)上完全使用高度优化的整数算术指令运行,从而实现最大程度的加速和能效。
  • 更低的推理开销: 计算激活范围或量化参数无需运行时成本。

缺点:

  • 需要校准数据: 需要一个数据集,该数据集能够准确反映模型在生产中将遇到的输入分布。差的校准数据可能导致精度显著下降。
  • 对离群值敏感: 如果运行时输入产生的激活范围与校准期间观察到的范围显著不同,精度可能会受到影响。未在校准期间捕获的离群值会被截断,可能会丢失重要信息。

动态量化 (quantization)

动态量化,在某些情况下也常被称为“仅权重 (weight)量化”,采取了不同的方法。权重在离线阶段量化,这一点与静态量化类似。然而,激活是在推理 (inference)过程中动态或即时量化的。

  1. 离线权重量化: 模型权重被转换为低精度整数格式(例如,INT8INT8INT8)并存储。
  2. 推理:
    • 当输入数据到来时,激活会逐层处理。
    • 对于涉及量化权重的操作(如矩阵乘法),传入的浮点激活会在操作前立即量化。它们的范围(最小值/最大值)是根据当前批次数据动态计算的。
    • 计算(例如,INT8权重 * INT8激活)得以执行。
    • 结果通常在传递给需要浮点输入的下一个操作或层(如某些激活函数 (activation function)或归一化 (normalization)层)之前,反量化回浮点数(FP32FP32FP32)。

动态量化工作流程:权重在离线阶段量化,但激活在推理期间即时量化,这会增加开销,但消除了对校准数据的需求。

优点:

  • 无需校准数据: 简化了量化过程,因为它不需要为激活提供单独的校准步骤或数据集。
  • 更具适应性: 适应每个输入的特定激活范围,如果校准不理想,可能比静态量化更好地处理意料之外的分布。
  • 简便性: 最初实现起来更简单。

缺点:

  • 更高的推理开销: 在推理期间动态计算激活范围并执行量化/反量化会增加计算成本,从而降低与静态量化相比的潜在加速效果。
  • 内存带宽: 持续读取FP32FP32FP32激活、对其进行量化、执行计算并经常反量化回FP32FP32FP32,这会增加内存带宽使用,与完全静态的INT8INT8INT8流水线相比。
  • 并非总是纯整数: 整数权重与动态量化/反量化激活的混合意味着计算可能无法在所有硬件上完全利用纯整数算术路径,从而可能限制性能提升。

选择静态量化 (quantization)与动态量化

选择取决于您应用程序的具体要求:

  • 选择静态量化的情形:
    • 最大推理 (inference)速度和能效是首要目标。
    • 您拥有有代表性的校准数据。
    • 目标硬件对完整整数算术流水线有高效支持。
    • 您愿意投入时间进行校准过程并可能对其进行微调 (fine-tuning)。
  • 选择动态量化的情形:
    • 优先考虑简便性和易于实现。
    • 获取好的校准数据很困难或不切实际。
    • 可以接受一定的推理开销。
    • 主要目标是减少权重 (weight)内存占用,且激活计算开销不那么重要。

对于大型语言模型(LLM),由于其计算密集性,静态量化通常更受青睐,以最大化吞吐量 (throughput)并降低延迟。然而,LLM中大的激活范围和离群值的存在,使得有效的校准对于静态量化尤为重要。动态量化可以是一个更简单的起点,主要减少权重的内存占用,但动态激活量化的计算开销对于LLM来说可能相当大。更高级的PTQ技术,稍后会讨论,通常会基于静态量化框架来解决其局限性。

  • Quantization for Deep Learning Models, PyTorch Documentation, 2019 (PyTorch Foundation) - 提供了PyTorch框架中包括静态和动态量化在内的各种量化类型的实践指导和实现细节。
  • Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko, 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE) DOI: 10.1109/CVPR.2018.00286 - 一篇基础性论文,介绍了神经网络量化以实现高效纯整数推理的方法,为静态量化方案奠定了技术基础。
  • Model optimization overview | TensorFlow Lite, TensorFlow Lite Documentation, 2024 (Google) - 概述了TensorFlow Lite生态系统中应用的各种模型优化技术,包括静态和动态量化。

© 2026 ApX Machine Learning