趋近智
大语言模型微调入门
章节 1: 模型定制的根基
什么是微调？
预训练与微调的比较
何时进行微调：一个分析体系
微调策略概述
迁移学习在大型语言模型中的作用
配置开发环境
章节 2: 用于微调的数据准备
获取和选择高质量数据集
指令式与对话式数据格式
数据清洗和预处理技术
构建和组织定制数据集
用于微调的分词
动手实践：构建微调数据集
章节 3: 全参数微调
全参数微调的工作原理
全参数微调的架构考量
计算资源管理
配置训练参数及超参数
监控训练：损失与指标
保存和加载精调模型
实践：小型模型上的全参数微调
章节 4: 参数高效微调 (PEFT)
参数高效微调概述
低秩适应（LoRA）：原理与运作
使用PEFT库实现LoRA
量化及其对微调的影响 (QLoRA)
其他PEFT方法：概述
PEFT与完全微调的优劣对比
动手实践：使用 LoRA 进行微调
章节 5: 评估与部署
界定生成型任务的性能指标
定量评估：ROUGE、BLEU 和困惑度
定性评估：人工参与评估
构建评估流程
将适配器与基础模型合并的方法
为推理准备模型
实践：评估微调模型
其他PEFT方法：概述
这部分内容有帮助吗？
- Parameter-Efficient Transfer Learning for NLP, Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, Sylvain Gelly, 2019 Proceedings of the 36th International Conference on Machine Learning (ICML) DOI: 10.48550/arXiv.1902.00751 - 介绍了用于高效迁移学习的适配器模块，通过冻结预训练权重并插入小型可训练层来展示其有效性。
- Prefix-Tuning: Optimizing Continuous Prompts for Generation, Li, Xiang Lisa and Liang, Percy, 2021 Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/2021.acl-long.353 - 提出了一种参数高效的微调方法--Prefix-Tuning，该方法在每个Transformer层注意力机制的输入前添加可训练的连续前缀。