趋近智

所有课程

进阶LoRA与PEFT方法：大型语言模型微调

章节 1: 回顾微调与效率的必要性

全量微调的计算成本

参数效率的必要性

数学预备知识：奇异值分解

参数高效微调方法的分类

章节 2: 低秩适配 (LoRA) 详解

LoRA 假说：适配的低本征秩

LoRA的数学表述

权重更新矩阵的分解

秩选择策略

缩放参数 Alpha

LoRA 层的实施

将 LoRA 融入 Transformer 架构

实际操作：应用基础LoRA

章节 3: PEFT 方法概览

适配器微调：架构与原理

适配器微调的实现细节

前缀微调：通过连续前缀进行调节

提示词微调与P-Tuning变体

比较分析：参数与性能的权衡

内存与计算开销

动手实践：实施适配器微调

章节 4: 进阶LoRA实现方法和变体

LoRA 初始化策略

训练后合并LoRA权重

量化LoRA (QLoRA)：原理

QLoRA 实现细节

分页优化器提升内存效率

将LoRA与其他PEFT方法结合

动手实践：实现 QLoRA

章节 5: 优化、部署与实际考量

PEFT 训练所需的基础设施要求

用于PEFT的优化器和学习率调度器

多适配器/多任务训练方法

调试 PEFT 实现

PEFT 训练与推理的性能分析

PEFT 的分布式训练方法

使用 PEFT 适配器部署模型

动手实践：使用多个 LoRA 适配器进行微调

章节 6: 评估 PEFT 性能和局限性

PEFT评估的常用指标

PEFT 与完全微调的对比评估

分析模型的抗干扰能力和泛化能力

研究灾难性遗忘

计算成本分析再议

当前局限性与待解决的研究问题

章节 2: 低秩适配 (LoRA) 详解

课程章节

2.1 LoRA 假说：适配的低本征秩
2.2 LoRA的数学表述
2.3 权重更新矩阵的分解
2.4 秩选择策略
2.5 缩放参数 Alpha
2.6 LoRA 层的实施
2.7 将 LoRA 融入 Transformer 架构
2.8 实际操作：应用基础LoRA

© 2025 ApX Machine Learning