ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化?
数值表示:浮点数与定点数
量化中的整数数据类型
量化方案:对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
第 1 章测验
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准:选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践:应用静态PTQ
第 2 章测验
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ:激活感知权重量化
SmoothQuant:减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践:使用 GPTQ 进行量化
第 3 章测验
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践:搭建简单量化感知训练运行环境
第 4 章测验
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF:结构与使用
GPTQ格式:库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践:转换和加载量化格式
第 5 章测验
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践:量化大型语言模型的基准测试
第 6 章测验

量化方案:对称量化与非对称量化

量化 (quantization)是将浮点数的高精度范围映射到整数的紧凑范围,即将浮点数值(rrr,代表“实数”)转换为低精度整数值(qqq,代表“量化值”)。这并非简单的类型转换,而是需要一个明确的映射过程。此映射的核心涉及两个参数 (parameter):

  1. 缩放因子 (sss): 一个正浮点数,它决定了相邻量化整数值之间的步长。它关联着实数的大小与整数范围。
  2. 零点 (zzz): 一个对应于实数0.0的整数值。这确保了浮点零在量化域中得到正确表示。

连接实数值 rrr、量化值 qqq、缩放因子 sss 和零点 zzz 的基本关系是:

r≈s⋅(q−z)r \approx s \cdot (q - z)r≈s⋅(q−z)

这是反量化公式,描述了如何从量化整数近似得到原始实数值。量化过程,即从 rrr 到 qqq 的转换,涉及除以缩放因子、加上零点、四舍五入到最近的整数,并将结果箝制到允许的整数范围(例如,INT8 为 [-128, 127]):

q=clip(round(r/s)+z,qmin,qmax)q = \text{clip}(\text{round}(r / s) + z, q_{min}, q_{max})q=clip(round(r/s)+z,qmin​,qmax​)

我们如何确定缩放因子(sss)和零点(zzz)界定了量化方案。两种主要方案是对称量化和非对称量化。

对称量化 (quantization)

对称量化,顾名思义,将浮点值对称地映射在零点周围。它假定您的张量(权重 (weight)或激活值)中重要值的范围接近零点居中。

映射方式: 它将浮点范围 [−R,R][-R, R][−R,R] 映射到有符号整数范围 [q_min,q_max][q\_{min}, q\_{max}][q_min,q_max],通常如 INT8 的 [−127,127][-127, 127][−127,127] 或 [−128,127][-128, 127][−128,127]。其特点是浮点值 0.0 直接映射到整数值 0。

缩放因子和零点:

  • 零点 (zzz) 固定为 0。
  • 缩放因子 (sss) 由您要表示的范围中的最大绝对值 (RRR) 确定。具体而言,R=max⁡(∣min(r)∣,∣max(r)∣)R = \max(|\text{min}(r)|, |\text{max}(r)|)R=max(∣min(r)∣,∣max(r)∣) 或简言之针对整个张量/通道/组的 R=max⁡(∣r∣)R = \max(|r|)R=max(∣r∣)。然后计算缩放因子,将此最大绝对值 RRR 映射到整数范围的边界。对于映射到 [−127,127][-127, 127][−127,127] 的有符号 INT8,缩放因子将是 s=R/127s = R / 127s=R/127。

公式:

  • 量化:q=clip(round(r/s),q_min,q_max)q = \text{clip}(\text{round}(r / s), q\_{min}, q\_{max})q=clip(round(r/s),q_min,q_max) (零点为 0)
  • 反量化:r≈s⋅qr \approx s \cdot qr≈s⋅q

例子: 假设将范围 [−3.8,3.2][-3.8, 3.2][−3.8,3.2] 中的值量化为有符号 INT8(使用 [−127,127][-127, 127][−127,127] 范围进行对称处理)。

  1. 确定范围限值 RRR:R=max⁡(∣−3.8∣,∣3.2∣)=3.8R = \max(|-3.8|, |3.2|) = 3.8R=max(∣−3.8∣,∣3.2∣)=3.8。
  2. 计算缩放因子 sss:s=3.8/127≈0.0299s = 3.8 / 127 \approx 0.0299s=3.8/127≈0.0299。
  3. 设定零点 zzz:z=0z = 0z=0。
  4. 量化一个值,例如 r=1.5r = 1.5r=1.5:q=round(1.5/0.0299)=round(50.167)=50q = \text{round}(1.5 / 0.0299) = \text{round}(50.167) = 50q=round(1.5/0.0299)=round(50.167)=50。
  5. 量化一个值,例如 r=−0.8r = -0.8r=−0.8:q=round(−0.8/0.0299)=round(−26.75)=−27q = \text{round}(-0.8 / 0.0299) = \text{round}(-26.75) = -27q=round(−0.8/0.0299)=round(−26.75)=−27。
  6. 反量化 q=50q=50q=50:r≈0.0299⋅50=1.495r \approx 0.0299 \cdot 50 = 1.495r≈0.0299⋅50=1.495。
  7. 反量化 q=−27q=-27q=−27:r≈0.0299⋅(−27)=−0.8073r \approx 0.0299 \cdot (-27) = -0.8073r≈0.0299⋅(−27)=−0.8073。

对称量化映射。浮点范围围绕 0.0 居中,它直接映射到整数零点(z=0)。缩放因子(s)确保最大绝对值映射到整数范围的边界。

优点:

  • 简洁性: 零点固定为 0,简化了计算。
  • 效率: 当零点为 0 时,某些硬件加速器可以更高效地执行整数计算。

缺点:

  • 潜在的低效: 如果原始浮点分佈偏斜(未围绕零点居中),则整数范围的一侧可能未充分利用或未使用,这相较于使用相同位数的非对称量化,会有效降低可用精度。

非对称量化 (quantization)

非对称量化将张量中观测到的精确浮点最小值和最大值映射到整数范围的最小值和最大值。当数据分佈未围绕零点居中时,这尤其有用。

映射方式: 它将浮点范围 [min⁡(r),max⁡(r)][\min(r), \max(r)][min(r),max(r)] 映射到完整的整数范围 [q_min,q_max][q\_{min}, q\_{max}][q_min,q_max],例如无符号 INT8 (UINT8) 的 [0,255][0, 255][0,255] 或有符号 INT8 的 [−128,127][-128, 127][−128,127]。

缩放因子和零点:

  • 缩放因子 (sss) 基于完整浮点范围计算:s=(max⁡(r)−min⁡(r))/(q_max−q_min)s = (\max(r) - \min(r)) / (q\_{max} - q\_{min})s=(max(r)−min(r))/(q_max−q_min)。
  • 零点 (zzz) 的计算旨在确保浮点值 0.0 正确映射到其对应的量化值。它通常被计算为一个整数偏移量:z=round(q_min−min⁡(r)/s)z = \text{round}(q\_{min} - \min(r) / s)z=round(q_min−min(r)/s)。请注意,zzz 可能不为 0。它表示对应于实数 0.0 的整数值。

公式:

  • 量化:q=clip(round(r/s)+z,q_min,q_max)q = \text{clip}(\text{round}(r / s) + z, q\_{min}, q\_{max})q=clip(round(r/s)+z,q_min,q_max)
  • 反量化:r≈s⋅(q−z)r \approx s \cdot (q - z)r≈s⋅(q−z)

例子: 假设将已知在范围 [0.5,6.2][0.5, 6.2][0.5,6.2] 中的激活值量化为无符号 INT8 (UINT8, 范围 [0, 255])。

  1. 确定范围:min⁡(r)=0.5\min(r) = 0.5min(r)=0.5,max⁡(r)=6.2\max(r) = 6.2max(r)=6.2。
  2. 计算缩放因子 sss:s=(6.2−0.5)/(255−0)=5.7/255≈0.02235s = (6.2 - 0.5) / (255 - 0) = 5.7 / 255 \approx 0.02235s=(6.2−0.5)/(255−0)=5.7/255≈0.02235。
  3. 计算零点 zzz:公式为 z=round(q_min−min⁡(r)/s)z = \text{round}(q\_{min} - \min(r) / s)z=round(q_min−min(r)/s)。 z=round(0−0.5/0.02235)=round(−22.37)=−22z = \text{round}(0 - 0.5 / 0.02235) = \text{round}(-22.37) = -22z=round(0−0.5/0.02235)=round(−22.37)=−22。 注:在实际框架中,零点通常会箝制到整数范围 [q_min,q_max][q\_{min}, q\_{max}][q_min,q_max](例如,UINT8 的 [0, 255])。如果需要箝制,缩放因子可能会略微调 (fine-tuning)整。为了在此处简化,我们使用计算出的值。
  4. 量化一个值,例如 r=1.5r = 1.5r=1.5: q=clip(round(1.5/0.02235)+(−22),0,255)=clip(round(67.11)−22,0,255)=clip(67−22,0,255)=45q = \text{clip}(\text{round}(1.5 / 0.02235) + (-22), 0, 255) = \text{clip}(\text{round}(67.11) - 22, 0, 255) = \text{clip}(67 - 22, 0, 255) = 45q=clip(round(1.5/0.02235)+(−22),0,255)=clip(round(67.11)−22,0,255)=clip(67−22,0,255)=45。
  5. 量化一个值,例如 r=5.0r = 5.0r=5.0: q=clip(round(5.0/0.02235)−22,0,255)=clip(round(223.7)−22,0,255)=clip(224−22,0,255)=202q = \text{clip}(\text{round}(5.0 / 0.02235) - 22, 0, 255) = \text{clip}(\text{round}(223.7) - 22, 0, 255) = \text{clip}(224 - 22, 0, 255) = 202q=clip(round(5.0/0.02235)−22,0,255)=clip(round(223.7)−22,0,255)=clip(224−22,0,255)=202。
  6. 反量化 q=45q=45q=45:r≈0.02235⋅(45−(−22))=0.02235⋅67=1.497r \approx 0.02235 \cdot (45 - (-22)) = 0.02235 \cdot 67 = 1.497r≈0.02235⋅(45−(−22))=0.02235⋅67=1.497。
  7. 反量化 q=202q=202q=202:r≈0.02235⋅(202−(−22))=0.02235⋅224=4.99r \approx 0.02235 \cdot (202 - (-22)) = 0.02235 \cdot 224 = 4.99r≈0.02235⋅(202−(−22))=0.02235⋅224=4.99。

非对称量化映射。精确的浮点最小值和最大值映射到整数范围的最小值和最大值。缩放因子(s)和零点(z)适应这种映射,即使浮点范围不包含 0.0。

优点:

  • 灵活性: 能够精确表示偏斜或未围绕零点居中的数据分佈(例如,ReLU 激活函数 (activation function)的输出始终为非负)。
  • 精度: 最大化利用可用整数值,相较于使用相同位数的对称量化,可能为非对称分佈带来更低的量化误差。

缺点:

  • 复杂性: 反量化和后续计算需要计算、存储和使用缩放因子和零点。这相较于 z=0z=0z=0 的对称情况,会引入少量计算开销。

选择适宜方案

对称量化 (quantization)和非对称量化之间的选择取决于几个因素:

特性 对称量化 非对称量化
浮点范围 映射 [−R,R][-R, R][−R,R] 映射 [min⁡(r),max⁡(r)][\min(r), \max(r)][min(r),max(r)]
零点映射 0.0→00.0 \rightarrow 00.0→0 0.0→z0.0 \rightarrow z0.0→z (整数零点)
零点 z=0z = 0z=0 (通常) zzz 需计算,可非零
参数 (parameter) 缩放因子 (sss) 缩放因子 (sss) 和零点 (zzz)
适用场景 围绕零点居中的分布 (例如,权重 (weight)) 偏斜分佈 (例如,ReLU 后的激活值)
计算 可能更简洁 (如果 z=0z=0z=0) 需要处理非零的 zzz
  • 权重: 在许多神经网络 (neural network)中,权重分佈倾向于大致对称围绕零点。因此,对称量化通常是权重的一个良好预设选择,它提供了简洁性和潜在的硬件优势。
  • 激活值: 激活值,尤其是在诸如 ReLU (f(x)=max⁡(0,x)f(x) = \max(0, x)f(x)=max(0,x)) 等函数之后,通常具有高度非对称的分布(例如,始终非负)。非对称量化通常更受青睐用于激活值,因为它可以更好地利用整数范围来表示这些偏斜值,从而减少精度损失。

然而,这些是一般指导原则。最佳选择可能因具体层类型、模型架构、目标硬件性能(某些硬件可能针对其中一种方案进行最佳化)以及精度/性能权衡的经验评估而异。现代量化库和框架通常允许您独立配置这些方案用于权重和激活值。

了解这些方案非常重要,因为选择直接影响低精度整数表示原始浮点值的精确程度,进而影响量化大型语言模型的整体性能和精度。接下来,我们将审视量化的另一个方面:粒度,它定义了这些缩放因子和零点参数的应用范围。

  • PyTorch Quantization Recipes, PyTorch Contributors, 2019 - 官方文档,提供量化的实用指南和概念性解释,包括PyTorch中对称和非对称量化方案的详细描述。

© 2026 ApX Machine Learning