趋近智
趋近智
APX AI
在线
趋近智
学习通过量化 (quantization)技术减小大语言模型（LLM）的体积并降低计算成本。本课程提供量化应用的实用方法，涵盖流行的训练后量化（PTQ）和量化感知训练（QAT）等技术，以及GPTQ和GGUF等常用格式，并评估性能权衡。获得对LLM进行量化的实践经验，以实现高效部署。
先修课程 大语言模型基础及Python知识
级别:
可获证书:
量化原理
理解模型量化的基本原理及其对大语言模型的好处。
训练后量化 (PTQ)
实现多种PTQ技术，包括校准和异常值处理。
高级PTQ方法
应用GPTQ等高级PTQ算法，并理解AWQ等方法。
量化感知训练 (QAT)
理解QAT的思想以及如何在训练中模拟量化。
格式与工具
掌握常用量化格式（GGUF、GPTQ）和库（Hugging Face Optimum、bitsandbytes）。
评估与部署
评估量化大语言模型的性能和精度权衡，并理解部署时的考量。