趋近智
掌握高效大型语言模型(LLM)微调 (fine-tuning)的高级方法,运用低秩适配(LoRA)及其他参数 (parameter)高效微调(PEFT)手段。本课程介绍尖端LLM调整的理论原理、复杂实现和优化策略。学员将熟练应用LoRA、QLoRA、适配器微调等方法,侧重于性能、内存效率和实际应用中的难题。
先修课程 Python, 深度学习, 大型语言模型
级别:
PEFT基础
分析全面微调的局限性以及参数高效方法的数学原理。
LoRA实现
在标准Transformer架构中实现并配置LoRA层。
进阶LoRA变体
实现并评估QLoRA和LoRA合并策略等高级技巧。
PEFT方法比较
比较分析各种PEFT方法(适配器、前缀微调、提示微调)的性能和计算成本。
PEFT优化
优化PEFT训练流程,包括基础设施考量、优化器和调试策略。
性能评估
评估不同PEFT方法在下游任务中的性能、鲁棒性及局限。
© 2026 ApX Machine Learning用心打造