趋近智
大语言模型实用量化技术
章节 1: 模型量化原理
模型压缩简介
为何对大型语言模型进行量化？
数值表示：浮点数与定点数
量化中的整数数据类型
量化方案：对称量化与非对称量化
量化粒度选择
量化误差的度量
量化方法的概述
章节 2: 训练后量化 (PTQ)
训练后量化原理
校准：选择有代表性的数据
静态量化与动态量化
常见的 PTQ 算法
处理 PTQ 中的异常值
将PTQ应用于LLM层
基础PTQ的局限性
动手实践：应用静态PTQ
章节 3: 进阶PTQ技术
GPTQ介绍
理解 GPTQ 算法机制
AWQ：激活感知权重量化
SmoothQuant：减轻激活离群值
高级PTQ方法比较
高级PTQ的实施考量
动手实践：使用 GPTQ 进行量化
章节 4: 量化感知训练 (QAT)
量化感知训练的必要性
训练期间模拟量化影响
直通估计器 (STE)
使用深度学习框架实现量化感知训练
使用量化节点微调模型
QAT 与 PTQ 的优缺点对比
QAT实施中的实际考量
动手实践：搭建简单量化感知训练运行环境
章节 5: 量化格式与工具
常见量化模型格式概述
GGUF：结构与使用
GPTQ格式：库支持与应用
AWQ 格式说明
使用 Hugging Face Transformers 和 Optimum
使用bitsandbytes进行量化
模型转换与加载工具
实践：转换和加载量化格式
章节 6: 量化大型语言模型的评估与部署
量化模型评估指标
衡量推理速度和内存占用
量化推理的硬件考量
量化大型语言模型的部署策略
常见量化问题排查
准确性与性能权衡分析
实践：量化大型语言模型的基准测试
数值表示：浮点数与定点数
这部分内容有帮助吗？
- What Every Computer Scientist Should Know About Floating-Point Arithmetic, David Goldberg, 1991 ACM Computing Surveys (CSUR), Vol. 23 (Association for Computing Machinery, Inc.) DOI: 10.1145/103162.103163 - 解释浮点运算的基本原理，包括IEEE 754标准，并讨论常见问题。
- Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko, 2018 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) DOI: 10.48550/arXiv.1712.05877 - 介绍神经网络的关键量化技术，包括对高效整数运算推理至关重要的尺度和零点映射。
- Computer Organization and Design RISC-V Edition: The Hardware/Software Interface, David A. Patterson, John L. Hennessy, 2021 (Morgan Kaufmann) - 第6版。这本教科书提供了计算机体系结构的概览，涵盖数字表示、算术单元和数据类型。