ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化?
数值表示:浮点数与定点数
量化中的整数数据类型
量化方案:对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
第 1 章测验
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准:选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践:应用静态PTQ
第 2 章测验
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ:激活感知权重量化
SmoothQuant:减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践:使用 GPTQ 进行量化
第 3 章测验
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践:搭建简单量化感知训练运行环境
第 4 章测验
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF:结构与使用
GPTQ格式:库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践:转换和加载量化格式
第 5 章测验
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践:量化大型语言模型的基准测试
第 6 章测验

常见的 PTQ 算法

根据英文版本的更新(主要是列表项格式规范化为 * **a.**、数学公式符号从 [−threshold,+threshold][-threshold, +threshold][−threshold,+threshold] 变为 [−threshold,+threshold][-\text{threshold}, +\text{threshold}][−threshold,+threshold],以及 KL 散度公式从 DKL(P∣∣Q)D_{KL}(P || Q)DKL​(P∣∣Q) 规范化为冒号后紧跟 DKL(P∥Q)D_{KL}(P \parallel Q)DKL​(P∥Q)),更新后的完整中文版本如下:

一旦拥有训练好的模型和具有代表性的校准数据集,训练后量化 (quantization)(PTQ)的核心工作就是确定量化参数 (parameter):比例因子(sss)和零点(zzz)。这些参数定义了从校准期间观察到的浮点范围到目标整数范围(例如 INT8,通常为 [-128, 127])的映射。存在多种算法来计算这些参数,每种算法在简易性、对异常值的稳定性以及潜在的精度影响之间都有其自身的权衡。最常见的几种算法将被描述。

MinMax 量化 (quantization)

这是最简单直接的方法。它使用给定张量(或量化组)在校准数据中观察到的绝对最小值和最大值来确定范围。

工作原理:

  1. 在校准期间,跟踪被量化张量遇到的最小值(xminx_{min}xmin​)和最大值(xmaxx_{max}xmax​)。
  2. 直接使用这些值来计算比例因子和零点。

对于非对称量化,零点可以是目标范围内的任意整数,其公式为:

s=xmax−xminQmax−Qmins = \frac{x_{max} - x_{min}}{Q_{max} - Q_{min}}s=Qmax​−Qmin​xmax​−xmin​​ z=round(Qmax−xmaxs)z = \text{round}(Q_{max} - \frac{x_{max}}{s})z=round(Qmax​−sxmax​​)

这里,QminQ_{min}Qmin​ 和 QmaxQ_{max}Qmax​ 表示目标整数范围的最小值和最大值(例如,有符号 INT8 的 -128 和 127)。零点 zzz 本质上是对应于浮点值 0.0 的整数值。

对于对称量化,范围以零为中心,强制零点 zzz 为 0(对于有符号整数)。比例因子由观察到的最大绝对值确定:

s=max⁡(∣xmin∣,∣xmax∣)Qmaxs = \frac{\max(|x_{min}|, |x_{max}|)}{Q_{max}}s=Qmax​max(∣xmin​∣,∣xmax​∣)​ z=0z = 0z=0

(这里,QmaxQ_{max}Qmax​ 对于有符号 INT8 将是 127,将范围 [−max⁡(∣…∣),+max⁡(∣…∣)][-\max(|\dots|), +\max(|\dots|)][−max(∣…∣),+max(∣…∣)] 映射到 [−127,127][-127, 127][−127,127]。)

优点:

  • 实现和理解起来非常简单。
  • 保证所有观察到的校准值在量化后都落在可表示的范围内(没有基于校准数据的裁剪)。

缺点:

  • 对异常值高度敏感。单个极端值,即使不常见,也会显著扩大所需范围(xmax−xminx_{max} - x_{min}xmax​−xmin​ 或 max⁡(∣xmin∣,∣xmax∣)\max(|x_{min}|, |x_{max}|)max(∣xmin​∣,∣xmax​∣))。这会使得比例因子 sss 变大,意味着可用于表示大部分数据分布的整数值更少,可能导致明显的量化误差和精度下降。

直方图显示了包含和不包含异常值的数据分布。MinMax 量化使用包含异常值的整个范围(例如,高达 1.5),这可能会降低 0.1 到 0.3 之间更常见值的精度。

百分位数量化 (quantization)

为减轻 MinMax 对异常值的敏感性,百分位数量化使用分布尾部的值,但不是绝对的极端值。

工作原理:

  1. 在校准期间收集值的分布(通常以直方图形式)。
  2. 选择下限和上限百分位数阈值(例如,0.1% 和 99.9%,或 1% 和 99%)。
  3. 确定对应于这些百分位数的浮点值,我们称之为 plowp_{low}plow​ 和 phighp_{high}phigh​。
  4. 在比例因子和零点计算公式中(无论是对称还是非对称),使用 plowp_{low}plow​ 和 phighp_{high}phigh​ 代替 xminx_{min}xmin​ 和 xmaxx_{max}xmax​。
  5. 任何落在 [plow,phigh][p_{low}, p_{high}][plow​,phigh​] 范围之外的原始浮点值在量化期间都将被截断(或饱和)到最小或最大可表示整数值。

优点:

  • 比 MinMax 对异常值更具抵抗力。通过忽略最极端的值,它通常会得到更小的比例因子 sss 和更好的数据分布精度。
  • 实现相对简单,只需收集直方图和计算百分位数。

缺点:

  • 对被截断的异常值引入饱和误差。如果这些异常值带有重要信息,截断它们可能会对精度产生负面影响。
  • 需要选择合适的百分位数,这成为一个需要调整的超参数 (parameter) (hyperparameter)。最佳百分位数可能因不同层或模型而异。

熵(KL 散度)量化 (quantization)

该方法采用了一种更偏向信息论的方式。它旨在找到一个量化范围(由裁剪阈值定义),以最大程度地减少原始浮点分布与量化分布之间的信息损失。用于衡量这种信息损失最常用的度量是 Kullback-Leibler (KL) 散度。

工作原理:

  1. 从校准数据集中收集激活值的直方图。这表示原始概率分布 PPP。
  2. 遍历不同的可能裁剪阈值。对于每个阈值:
    • a. 根据阈值定义一个量化范围(通常是对称的,即 [−threshold,+threshold][-\text{threshold}, +\text{threshold}][−threshold,+threshold])。
    • b. 使用此范围量化阈值内的值。超出阈值的值将被饱和到最小/最大量化值。
    • c. 创建一个新直方图,表示量化后再反量化(将其映射回浮点近似值)后的分布 QQQ。由于量化误差和饱和,此分布 QQQ 将与 PPP 不同。
    • d. 计算原始分布 PPP 和量化分布 QQQ 之间的 KL 散度:DKL(P∥Q)D_{KL}(P \parallel Q)DKL​(P∥Q)。
  3. 选择导致最小 KL 散度的阈值。该阈值根据此标准定义了量化的最佳范围。
  4. 根据所选阈值计算最终的比例因子(sss)和零点(zzz),类似于对称 MinMax,但使用最佳阈值而不是绝对最大值。

优点:

  • 在常见 PTQ 算法中通常能达到最佳精度,特别是对于非均匀或偏斜分布,因为它直接尝试保持整体分布形状。
  • 提供了一种更具原则性的方式来处理饱和(裁剪异常值)和量化误差(内部值精度)之间的权衡。

缺点:

  • 在校准期间计算成本较高,因为需要进行直方图统计并迭代测试多个阈值以及计算 KL 散度。
  • 结果可能对用于分布直方图表示的 bin 数量敏感。

算法选择

最佳 PTQ 算法通常取决于具体情况:

  • 权重 (weight): 权重分布通常相对稳定且大致围绕零对称。MinMax 或百分位数方法(通常是对称的)常被使用且表现良好。
  • 激活: 激活分布可能因输入数据和层类型而明显不同。它们通常是非对称的,并且可能存在明显的异常值。熵(KL 散度)或百分位数方法常用于激活,以更好地处理这些特点。非对称量化 (quantization)方案对于激活也更常见。
  • 性能与精度: MinMax 在校准期间最快,但最容易因异常值导致精度损失。熵在校准期间最慢,但通常能提供最高精度。百分位数在这两者之间提供了一种平衡。

在实践中,Hugging Face Optimum 或 PyTorch 的量化模块等库通常提供这些算法的实现,让您能够尝试并选择最符合特定模型和任务精度及性能要求的方法。您甚至可以在同一模型中混合使用权重和激活的不同策略。

  • Post Training Quantization (PTQ), PyTorch Development Team, 2019 (PyTorch Foundation) - PyTorch官方的训练后量化模块文档,提供PTQ算法及其实现的实践细节。
  • Post-training quantization, Google AI for Developers, 2023 - Google开发者提供的实践指南,解释了训练后量化的原理和常见算法,包括MinMax和KL散度方法。

© 2026 ApX Machine Learning