LLM压缩与加速技术

• 优化分析

  分析不同LLM压缩与加速方法的复杂权衡。

• 高级量化

  实践并评估精巧量化技术，包括低于4位精度和QAT。

• 高级剪枝

  应用并比较LLM的先进结构化与非结构化剪枝策略。

• 知识蒸馏

  设计、实践并评估为大语言模型量身定制的知识蒸馏流程。

• PEFT方法

  运用并调整多种参数高效微调方法，例如LoRA和QLoRA。

• 硬件优化

  针对特定硬件架构优化LLM推理性能。

• 性能评估

  严谨评估优化技术对性能、精度和效率的影响。

• 集成部署

  将多种优化技术整合到实际的LLM部署流程中。

本课程没有先修课程。

目前没有推荐的后续课程。