趋近智
进阶LoRA与PEFT方法：大型语言模型微调
章节 1: 回顾微调与效率的必要性
全量微调的计算成本
参数效率的必要性
数学预备知识：奇异值分解
参数高效微调方法的分类
章节 2: 低秩适配 (LoRA) 详解
LoRA 假说：适配的低本征秩
LoRA的数学表述
权重更新矩阵的分解
秩选择策略
缩放参数 Alpha
LoRA 层的实施
将 LoRA 融入 Transformer 架构
实际操作：应用基础LoRA
章节 3: PEFT 方法概览
适配器微调：架构与原理
适配器微调的实现细节
前缀微调：通过连续前缀进行调节
提示词微调与P-Tuning变体
比较分析：参数与性能的权衡
内存与计算开销
动手实践：实施适配器微调
章节 4: 进阶LoRA实现方法和变体
LoRA 初始化策略
训练后合并LoRA权重
量化LoRA (QLoRA)：原理
QLoRA 实现细节
分页优化器提升内存效率
将LoRA与其他PEFT方法结合
动手实践：实现 QLoRA
章节 5: 优化、部署与实际考量
PEFT 训练所需的基础设施要求
用于PEFT的优化器和学习率调度器
多适配器/多任务训练方法
调试 PEFT 实现
PEFT 训练与推理的性能分析
PEFT 的分布式训练方法
使用 PEFT 适配器部署模型
动手实践：使用多个 LoRA 适配器进行微调
章节 6: 评估 PEFT 性能和局限性
PEFT评估的常用指标
PEFT 与完全微调的对比评估
分析模型的抗干扰能力和泛化能力
研究灾难性遗忘
计算成本分析再议
当前局限性与待解决的研究问题
PEFT评估的常用指标
这部分内容有帮助吗？
- LoRA: Low-Rank Adaptation of Large Language Models, Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, 2021 International Conference on Learning Representations (ICLR) - 介绍了LoRA，一种常在此章节评估背景下进行比较的参数高效微调方法。
- SuperGLUE: A Stronger General Language Understanding Evaluation Benchmark, Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel Bowman, 2019 Advances in Neural Information Processing Systems 32, Vol. 32 (NeurIPS Proceedings) DOI: 10.48550/arXiv.1905.00537 - 介绍了SuperGLUE，一个用于评估自然语言理解模型的广泛使用的基准，涵盖了各种NLU任务和指标。
- BLEU: a Method for Automatic Evaluation of Machine Translation, Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu, 2002 Proceedings of the 40th Annual Meeting on Association for Computational Linguistics (ACL) (Association for Computational Linguistics (ACL)) DOI: 10.3115/1073083.1073135 - 介绍BLEU的奠基性论文，BLEU是评估机器翻译文本质量的标准自动指标。
- ROUGE: A Package for Automatic Evaluation of Summaries, Chin-Yew Lin, 2004 Text Summarization Branches Out: Proceedings of the ACL-04 Workshop (Association for Computational Linguistics) DOI: 10.3115/1614008.1614022 - 介绍了ROUGE，一套广泛用于自动评估摘要和其他文本生成任务的指标。