趋近智
趋近智
APX AI
在线
趋近智
掌握高效大型语言模型（LLM）微调 (fine-tuning)的高级方法，运用低秩适配（LoRA）及其他参数 (parameter)高效微调（PEFT）手段。本课程介绍尖端LLM调整的理论原理、复杂实现和优化策略。学员将熟练应用LoRA、QLoRA、适配器微调等方法，侧重于性能、内存效率和实际应用中的难题。
先修课程 Python, 深度学习, 大型语言模型
级别:
PEFT基础
分析全面微调的局限性以及参数高效方法的数学原理。
LoRA实现
在标准Transformer架构中实现并配置LoRA层。
进阶LoRA变体
实现并评估QLoRA和LoRA合并策略等高级技巧。
PEFT方法比较
比较分析各种PEFT方法（适配器、前缀微调、提示微调）的性能和计算成本。
PEFT优化
优化PEFT训练流程，包括基础设施考量、优化器和调试策略。
性能评估
评估不同PEFT方法在下游任务中的性能、鲁棒性及局限。