大型语言模型的微调与调整

• 高阶微调策略

  实践并区分全量微调与各类参数高效微调（PEFT）方法。

• 调整模型的数据准备

  为指令微调和特定方向调整构建高质量数据集，并应对数据质量与数量的难题。

• PEFT技术应用

  应用如LoRA、QLoRA和Adapter模块等技术，以高效调整大型模型。

• 训练优化

  使用梯度累积和混合精度训练等技术，优化微调过程以提升计算效率。

• 模型评估

  对微调模型进行全面评估，审视其在标准指标之外的表现，包含指令遵循和偏差分析。

• 部署考量

  分析微调后大型语言模型部署的实际要点，包括模型序列化和模型服务策略。

本课程没有先修课程。

目前没有推荐的后续课程。