ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化?
数值表示:浮点数与定点数
量化中的整数数据类型
量化方案:对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
第 1 章测验
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准:选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践:应用静态PTQ
第 2 章测验
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ:激活感知权重量化
SmoothQuant:减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践:使用 GPTQ 进行量化
第 3 章测验
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践:搭建简单量化感知训练运行环境
第 4 章测验
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF:结构与使用
GPTQ格式:库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践:转换和加载量化格式
第 5 章测验
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践:量化大型语言模型的基准测试
第 6 章测验

量化误差的度量

量化 (quantization),其本质上是一种近似。当我们把像32位浮点数(FP32FP32FP32)这样的高精度值映射到像8位整数(INT8INT8INT8)这样的低精度格式时,不可避免地会损失一些信息。原始值与量化表示之间的这种差异即为量化误差,有时也称作量化噪声。了解并度量此误差是评估量化策略是否适用于给定模型和应用的基础。

虽然目标是使此误差最小化,但简单地度量原始差异并非总是足够。我们需要有助于理解此误差对模型整体行为和性能影响的指标。

直接误差指标

在基本层面,我们可以直接比较原始浮点张量(权重 (weight)或激活)与它们的量化 (quantization)后反量化版本。(反量化将低精度整数转换回浮点值,以便直接比较)。常用指标包括:

  • 均方误差 (MSE): 此指标度量原始值 (xxx) 与量化后反量化值 (xqx_qxq​) 之间的平均平方差。对于一个包含 NNN 个元素的张量:

    MSE=1N∑i=1N(xi−xq,i)2MSE = \frac{1}{N} \sum_{i=1}^{N} (x_i - x_{q,i})^2MSE=N1​i=1∑N​(xi​−xq,i​)2

    较低的 MSE 通常表示更好的近似。然而,MSE 对异常值敏感,并且并非总是与模型在复杂任务上的最终性能直接相关。

  • 信噪比 (SNR): 通常以分贝 (dB) 表示,SNR 比较原始信号(张量值)的功率与量化噪声(误差)的功率。较高的 SNR 表明原始信号相对于量化引入的误差更强。它通常按如下方式计算:

    SNR=10log⁡10(∑i=1Nxi2∑i=1N(xi−xq,i)2)SNR = 10 \log_{10} \left( \frac{\sum_{i=1}^{N} x_i^2}{\sum_{i=1}^{N} (x_i - x_{q,i})^2} \right)SNR=10log10​(∑i=1N​(xi​−xq,i​)2∑i=1N​xi2​​)

    较高的 SNR(例如,> 20 dB)通常更受青睐,这表明量化噪声相对于原始值而言较小。

这些直接指标在量化算法的开发和调试过程中很有用,有助于评估特定层或张量的量化过程本身的数值准确度。

模型层面的性能指标

虽然直接误差指标量化 (quantization)数值差异,但它们不能完全说明量化如何影响 LLM 的功能。LLM 是一个复杂的系统,小的数值误差有时可能会放大,而另一些时候可能对最终输出影响微乎其微。因此,评估量化模型在相关任务上的表现是必不可少的。

  • 困惑度 (PPL): 这是评估语言模型的标准指标。困惑度衡量概率模型预测样本的能力。较低的困惑度表明模型对测试数据的“意外程度”较低,这意味着它为观察到的词序列分配了更高的概率。在评估量化时,我们通常在相同的验证数据集上计算原始 FP32FP32FP32 模型和量化模型(例如,INT8INT8INT8)的困惑度。与原始模型相比,量化模型的困惑度略微增加,表明量化过程很好地保持了模型的语言建模能力。大幅增加可能表明量化存在问题。

  • 任务专属指标: 通常,最有意义的评估涉及衡量量化 LLM 在其预期特定下游任务上的性能。这可能包括:

    • 准确率: 用于分类任务。
    • F1分数: 用于像命名实体识别或问答这类精确率和召回率都很重要的任务。
    • BLEU/ROUGE 分数: 用于翻译或摘要等生成任务,比较模型的输出与参考文本。

比较原始模型和量化模型之间的这些任务专属指标,提供了对量化 功能 影响最直接的评估。

误差与量化 (quantization)选择的关系

量化误差的大小和分布受量化过程中所做选择的影响:

  • 数据类型: 量化到 INT4INT4INT4 通常会比量化到 INT8INT8INT8 引入更多误差。
  • 量化方案: 在某些情况下,非对称量化可能比对称量化更好地处理偏斜分布,这可能导致较低的误差。
  • 粒度: 逐通道或逐组量化通常比逐张量量化产生更低的误差,因为它能更紧密地根据权重 (weight)或激活更小子集的具体统计数据调整量化参数 (parameter)(缩放因子和零点)。
  • 校准数据: 对于静态量化方法(在第 2 章中讨论),用于确定量化参数的校准数据选择会明显影响未见数据上的最终误差。

权衡

衡量量化 (quantization)误差并非为了实现零误差;而是为了理解其中的权衡。我们有意降低精度以获得效率(更小的尺寸、更快的推理 (inference)、更低的能耗)。主要目的是使用适当的指标(如困惑度或任务专属分数)来量化由此带来的准确性或性能下降,并确定这种下降是否在效率提升的权衡下,对于目标应用来说可以接受。在后续章节中讨论的技术,例如高级 PTQ 方法和 QAT,旨在最小化这种性能下降,同时仍能实现大幅压缩。

  • GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers, Elias Frantar, Saleh Ashkboos, Maximilian Seidel, and Dan Alistarh, 2022 arXiv preprint arXiv:2210.01735 DOI: 10.48550/arXiv.2210.01735 - 提出一种针对大型语言模型实现精准训练后量化的方法,展示如何在量化误差下保持困惑度和任务性能。

© 2026 ApX Machine Learning