准确性与性能权衡分析

量化 (quantization)旨在提高模型效率，这通常通过降低推理 (inference)延迟$L$、减少内存占用$M$或增加吞吐量 (throughput)来衡量。然而，将高精度浮点数映射到低精度整数的这个过程，不可避免地会引入一定程度的误差。这种误差可能会影响模型的预测能力，其衡量标准通常是语言模型中的困惑度（$PPL$）或特定下游任务中的准确率（$Acc$）。

因此，进行量化需要处理一个基本的权衡：在获得计算性能的同时，可能牺牲模型准确性。核心问题变成：为了获得一定程度的性能提升，可以接受多少准确率下降？答案很大程度上取决于具体的应用及其限制。

权衡空间的视觉呈现

一种有助于理解这种关系的方式是，将不同量化 (quantization)策略的结果可视化。通过对模型的各种量化版本（例如，使用INT8或INT4等不同比特精度，或基本PTQ、GPTQ或QAT等方法）进行性能测试，可以绘制出它们的性能与准确率的关系图。

设想一张图表，其中x轴表示一个性能指标（如推理 (inference)延迟的倒数，即加速比，或内存减少量），y轴表示一个准确率指标（如1 - 困惑度，或任务准确率）。理想情况下，您会希望模型位于右上角：高准确率和高性能。

不同量化策略的比较，将任务准确率与相对于原始FP16模型的推理加速比进行绘图。靠近右上角的点表示更好的权衡。

在此示例图中：

• FP16: 代表了基准性能和准确率。
• INT8 PTQ: 提供了显著的加速比（2.5倍），准确率略有下降（从85%降至83.5%）。
• INT4 GPTQ: 提供了最高的加速比（4.2倍），但准确率损失更为明显（降至81%）。
• INT8 QAT: 获得了与INT8 PTQ相似的加速比（2.4倍），但几乎恢复了所有损失的准确率（84.8%），这表明了再训练的好处。
• INT4 QAT: 与INT4 GPTQ相比，在相似的加速水平（4.0倍，83%准确率）下提高了准确率，这再次表明了QAT在激进量化方面的能力。

对于给定性能水平（或给定准确率水平）下提供最佳准确率的点，被称为位于帕累托前沿。在上面的图表中，FP16、INT8 QAT和INT4 QAT可以被认为是靠近这个前沿的点。INT8 PTQ和INT4 GPTQ略微“被支配”——例如，INT8 QAT在与INT8 PTQ大致相同的加速比下提供了更好的准确率。

确定可接受标准

可视化图表有帮助，但实际部署需要具体的决策标准。这些标准通常涉及根据应用要求设置阈值：

1. 最小可接受准确率： 应用可以容忍的最低准确率（或最高困惑度）是多少？这通常需要将量化 (quantization)模型的输出质量与原始FP16模型在代表性示例上进行比较，或使用标准评估基准。定义一个最大可接受的准确率下降值，$\Delta_{Acc\_max}$。
2. 目标性能提升： 对加速比或内存减少的最低要求是什么？这可能是由硬件限制（例如，适应特定设备）或用户体验目标（例如，响应时间）决定的。定义一个最小加速因子$S_{min}$或最大内存占用$M_{max}$。

一个量化策略$Q$可能被认为是可接受的，如果满足：

$$\text{准确率}(Q) \ge \text{准确率}(\text{FP16}) - \Delta_{Acc\_max}$$

并且

$$\text{延迟}(Q) \le \frac{\text{延迟}(\text{FP16})}{S_{min}} \quad \text{或} \quad \text{内存}(Q) \le M_{max}$$

影响决定的方面

最佳平衡取决于本课程中讨论的几个方面：

• 量化 (quantization)方法： 基本PTQ简单，但可能导致更大的准确率下降，尤其是在较低比特宽度下。像GPTQ或AWQ等先进PTQ方法通常能更好地保持准确率。QAT通常在给定比特宽度下产生最佳准确率，但需要再训练基础设施和数据。
• 比特精度（INT8、INT4等）： 较低精度会带来更高的压缩和加速，但通常会增加准确率损失。
• 粒度（逐张量、逐通道、组级）： 更细的粒度（例如，逐通道或组级）有时可以比逐张量量化更好地减轻准确率损失，但根据硬件核实现的差异，可能会有不同的性能影响。
• 校准数据： 对于PTQ方法，校准数据集的质量和代表性对最终准确率有明显影响。
• 硬件支持： 实际性能增益很大程度上取决于目标硬件是否具有所选低精度数据类型（例如，INT8或INT4矩阵乘法）的高效核。
• 任务敏感度： 某些任务或数据集对量化引入的数值精度误差天生就更敏感。

做出最终决定

分析权衡是一个迭代过程：

1. 建立基线： 测量原始FP16/BF16模型的准确率和性能。
2. 设定要求： 根据应用的需要，为最小准确率和期望的性能提升设定明确的目标。
3. 进行实验： 运用不同的量化 (quantization)技术（例如，INT8 PTQ、INT4 GPTQ、如果可行则使用INT8 QAT）。
4. 评估： 在目标硬件上，严格测试每个量化模型的准确率（困惑度、任务指标）和性能（延迟、内存、吞吐量 (throughput)）。
5. 可视化与比较： 绘制结果图表（如上所示），以便了解各种选择。
6. 选择： 挑选最符合您所设定要求的量化策略。如果没有单一方法能够同时满足准确率和性能目标，您可能需要重新考虑要求，研究不同的模型架构，或者投入更复杂的量化技术，例如QAT或混合精度量化。

最终，目标不一定是找到最准确的量化模型或最快的模型，而是找到能为您的特定使用场景和部署限制提供准确率和性能最佳组合的模型。这种分析确保了量化的优点（速度、大小）得以发挥，同时不损害模型对其预期用途的效用。