先决条件: 大语言模型基础及Python知识

您将学到什么

• 量化原理

  理解模型量化的基本原理及其对大语言模型的好处。

• 训练后量化 (PTQ)

  实现多种PTQ技术，包括校准和异常值处理。

• 高级PTQ方法

  应用GPTQ等高级PTQ算法，并理解AWQ等方法。

• 量化感知训练 (QAT)

  理解QAT的思想以及如何在训练中模拟量化。

• 格式与工具

  掌握常用量化格式（GGUF、GPTQ）和库（Hugging Face Optimum、bitsandbytes）。

• 评估与部署

  评估量化大语言模型的性能和精度权衡，并理解部署时的考量。