ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化?
数值表示:浮点数与定点数
量化中的整数数据类型
量化方案:对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
第 1 章测验
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准:选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践:应用静态PTQ
第 2 章测验
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ:激活感知权重量化
SmoothQuant:减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践:使用 GPTQ 进行量化
第 3 章测验
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践:搭建简单量化感知训练运行环境
第 4 章测验
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF:结构与使用
GPTQ格式:库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践:转换和加载量化格式
第 5 章测验
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践:量化大型语言模型的基准测试
第 6 章测验

使用 Hugging Face Transformers 和 Optimum

对大型语言模型进行量化 (quantization)不只在于应用某个算法;它还需要实用的工具,才能有效保存、加载和运行这些优化后的模型。尽管GGUF等格式以及GPTQ/AWQ模型的特定约定处理了存储,但Hugging Face生态系统提供了强大的库,即transformers和optimum,以使量化处理和运行由此产生的模型更加高效。

Hugging Face transformers 核心库本身提供了一些直接的集成,用于加载仅权重 (weight)量化的模型,这主要是在其内部使用了bitsandbytes库。您可能在from_pretrained方法中遇到过load_in_8bit=True或load_in_4bit=True这样的参数 (parameter)。这些标志提供了一种方便的方式,能将模型直接加载到GPU等硬件上,使用降低精度后的权重,大幅减少推理 (inference)时的内存占用。

# 使用 transformers 原生 bitsandbytes 集成的示例
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "mistralai/Mistral-7B-v0.1" # 示例模型

# 加载已启用4位量化的模型
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    load_in_4bit=True,
    device_map="auto" # 自动将层映射到可用设备(CPU/GPU)
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 现在 'model' 使用4位权重进行推理
# ... 使用模型和分词器继续生成

这种直接方法非常适合快速部署和节省内存,尤其是在消费级GPU上。然而,它主要侧重于通过bitsandbytes进行推理时的权重量化。对于更多元的量化方案,包括权重和激活的静态量化、与不同硬件加速器的兼容性以及标准化的导出格式,我们会转向Hugging Face Optimum。

认识 Hugging Face Optimum

Optimum是transformers的一个扩展,其专门用于连接transformers模型与各种硬件加速技术及优化方法,这包括量化 (quantization)。可以把它看作是一个工具集,它提供了一个标准化的接口,用于应用如训练后量化(PTQ)这样的优化,并将模型导出到ONNX(开放神经网络 (neural network)交换)等有效率的运行时格式。

Optimum 的主要目标包括:

  1. 统一API: 提供一致的方法,以便在不同后端(如ONNX Runtime、PyTorch XLA、Intel OpenVINO等)应用优化。
  2. 硬件加速: 使使用专用硬件功能变得更简单,以实现更快的推理 (inference)(例如,CPU/GPU上的INT8支持)。
  3. 性能优化: 实施诸如图融合和优化内核使用等技术,这些通常由所选后端提供支持。

Optimum 的量化 (quantization)工作流程

Optimum 主要通过与各种优化后端的集成来支持训练后量化(PTQ)。使用Optimum进行PTQ的典型工作流程包括以下步骤:

  1. 加载基础模型: 从一个标准的transformers模型开始。
  2. 定义量化配置: 指定所需的量化参数 (parameter),例如目标精度(如INT8),是量化激活(静态)还是仅量化权重 (weight)(动态),校准数据集以及目标后端。Optimum 为此提供了配置类(例如QuantizationConfig、AutoQuantizationConfig)。
  3. 实例化量化器: 从Optimum创建一个量化器对象,并将模型和配置关联起来(例如OptimumORTOptimizer、OptimumIntelQuantizer)。
  4. 运行量化: 执行量化过程。如果执行静态量化,这通常涉及使用提供的GSE数据集校准模型,以确定最佳量化范围(缩放因子、零点)。
  5. 保存量化模型: 导出优化后的模型,通常以与所选后端兼容的格式(例如,带有量化算子的ONNX图)。

让我们演示如何使用 Optimum 与 ONNX Runtime 后端进行静态 INT8 量化:

from optimum.onnxruntime import ORTQuantizer, ORTModelForSequenceClassification
from optimum.onnxruntime.configuration import QuantizationConfig, AutoQuantizationConfig
from transformers import AutoTokenizer, AutoModelForSequenceClassification
# 假设“calibration_dataset”已准备好(例如,训练数据的子集)

model_id = "distilbert-base-uncased-finetuned-sst-2-english"
onnx_output_dir = "./quantized_onnx_model"

# 1. 加载基础模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)

# 2. 定义量化配置(AVX512 CPU 的静态 INT8)
# 针对 AVX512 CPU 静态量化的示例
qconfig = AutoQuantizationConfig.avx512_vnni(is_static=True, per_channel=False)

# 3. 实例化量化器
quantizer = ORTQuantizer.from_pretrained(model_id, feature=model.config.task_specific_params.get("feature", "sequence-classification"))

# 4. 运行量化(校准在此进行)
quantizer.quantize(
    save_dir=onnx_output_dir,
    quantization_config=qconfig,
    calibration_dataset=calibration_dataset # 提供校准数据
)

# 5. 量化后的 ONNX 模型保存在 'onnx_output_dir' 中
print(f"Quantized ONNX model saved to: {onnx_output_dir}")

# 通过 Optimum 的 ORTModel 类加载并使用量化模型
quantized_model = ORTModelForSequenceClassification.from_pretrained(onnx_output_dir)
# 现在您可以使用“quantized_model”和“tokenizer”进行推理

这个代码片段演示了使用 Optimum 和 ONNX Runtime 的典型 PTQ 流程。实际操作需要以预期格式准备一个calibration_dataset。

Optimum 可以屏蔽底层后端(例如 ONNX Runtime 的量化工具或 Intel 的 Neural Compressor)的许多细节。它提供了一个更高级别的接口,使这个过程更易于使用。

加载并运行 Optimum 量化 (quantization)模型

一旦模型使用Optimum进行量化并导出(通常为ONNX格式),您通常会使用Optimum的专用模型类来加载和运行它。

这些类(如ORTModelForCausalLM、ORTModelForSequenceClassification)旨在与特定的运行时后端(例如ONNX Runtime)配合使用。

from optimum.onnxruntime import ORTModelForCausalLM
from transformers import AutoTokenizer

quantized_model_dir = "./quantized_onnx_model" # 量化模型保存的路径
tokenizer = AutoTokenizer.from_pretrained(quantized_model_dir) # 也加载分词器

# 加载为 ONNX Runtime 优化的量化模型
ort_model = ORTModelForCausalLM.from_pretrained(quantized_model_dir, use_io_binding=True) # IO 绑定可以提升性能

# 使用优化后的模型进行推理
# API 通常与 transformers API 相似
inputs = tokenizer("Generate text with the quantized model:", return_tensors="pt")
outputs = ort_model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用这些Optimum类可确保模型使用预期的加速运行时执行,并发挥了先前进行的量化作用。

支持的后端和硬件

Optimum 的一个重要优势在于它支持多种执行后端,让您可以针对不同的硬件目标优化模型:

  • ONNX Runtime: 优秀的跨平台支持(CPU、通过CUDA/TensorRT的GPU、ARM)。通常是默认或用途最广的选择。支持静态/动态量化 (quantization)。
  • Intel OpenVINO: 为Intel硬件(CPU、集成显卡、VPU)优化。提供强大的PTQ能力。
  • TensorRT: NVIDIA GPU 的高性能推理 (inference)优化器和运行时。Optimum 可以协助导出与TensorRT兼容的模型。
  • 其他: 对IPEX(PyTorch的Intel扩展)、TensorFlow Lite等后端的支持也属于Optimum生态系统的一部分,具体取决于任务和模型。

量化技术以及由此产生的性能提升会因所选后端和目标硬件的能力(例如原生INT8支持)而有所不同。

使用 Hugging Face Optimum 进行训练后量化(PTQ)、导出为 ONNX 格式并使用 Optimum 运行时类运行的典型工作流程。

总而言之,Hugging Face Transformers 提供了量化的基本途径,主要通过 bitsandbytes 进行推理时的权重 (weight)优化。Hugging Face Optimum 大幅扩展了这些能力,提供了一个标准化的框架,用于应用各种训练后量化技术,针对 ONNX Runtime 和 OpenVINO 等多个硬件后端,并管理优化后的模型以实现高效部署。对于希望系统地应用和部署量化transformers模型到不同硬件平台的开发者而言,它是一个必要的工具。

  • Hugging Face Transformers Documentation, Hugging Face, 2024 - transformers 库的官方文档,详细介绍了如何加载 4 位和 8 位量化模型。
  • Hugging Face Optimum Documentation, Hugging Face, 2024 - optimum 库的官方文档,支持模型优化、量化以及在各种硬件上部署。
  • bitsandbytes: 8-bit Optimizers and Quantization Functions for PyTorch, Tim Dettmers, 2023 - bitsandbytes 库的 GitHub 仓库,为 PyTorch 模型提供核心的 4 位和 8 位量化功能。
  • Quantize ONNX Models with ONNX Runtime, Microsoft, 2024 - ONNX Runtime 的官方指南,说明如何对 ONNX 模型进行量化,这是 Hugging Face Optimum 的一个后端选项。

© 2026 ApX Machine Learning