趋近智
趋近智
学习量化 (quantization)大型语言模型（LLM）的高阶技术，并将其部署以实现优化的推理 (inference)表现。本课程讲解尖端量化方案、部署框架、性能分析，以及专为不同硬件平台上的大型语言模型设计的优化策略。
先修课程 Python、机器学习、大型语言模型入门知识。
级别:
高阶量化技术
实施并比较各类大型语言模型量化方法，包括低比特（低于4比特）、混合精度、以及GPTQ和AWQ等训练后量化算法。
量化校准
应用高阶校准技术，以最大限度减少大型语言模型量化过程中的精度损失。
性能分析
评估量化大型语言模型的性能（延迟、吞吐量、内存占用）与精度之间的权衡。
硬件专项优化
优化量化大型语言模型的推理，使其适用于不同硬件目标，包括CPU和GPU。
部署框架
运用专业框架与库（例如TensorRT-LLM、vLLM、TGI、ONNX Runtime），高效部署量化大型语言模型。
部署策略
实施服务量化大型语言模型的部署策略，并考量扩展性与资源管理。