趋近智
大语言模型微调入门
章节 1: 模型定制的根基
什么是微调？
预训练与微调的比较
何时进行微调：一个分析体系
微调策略概述
迁移学习在大型语言模型中的作用
配置开发环境
章节 2: 用于微调的数据准备
获取和选择高质量数据集
指令式与对话式数据格式
数据清洗和预处理技术
构建和组织定制数据集
用于微调的分词
动手实践：构建微调数据集
章节 3: 全参数微调
全参数微调的工作原理
全参数微调的架构考量
计算资源管理
配置训练参数及超参数
监控训练：损失与指标
保存和加载精调模型
实践：小型模型上的全参数微调
章节 4: 参数高效微调 (PEFT)
参数高效微调概述
低秩适应（LoRA）：原理与运作
使用PEFT库实现LoRA
量化及其对微调的影响 (QLoRA)
其他PEFT方法：概述
PEFT与完全微调的优劣对比
动手实践：使用 LoRA 进行微调
章节 5: 评估与部署
界定生成型任务的性能指标
定量评估：ROUGE、BLEU 和困惑度
定性评估：人工参与评估
构建评估流程
将适配器与基础模型合并的方法
为推理准备模型
实践：评估微调模型
预训练与微调的比较
这部分内容有帮助吗？
- Universal Language Model Fine-tuning for Text Classification, Jeremy Howard and Sebastian Ruder, 2018 Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/P18-1031 - 本文介绍了一种有效微调预训练语言模型以完成下游自然语言处理任务的方法，展示了迁移学习的效率和性能提升。
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, 2019 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (Association for Computational Linguistics) DOI: 10.18653/v1/N19-1423 - 这篇里程碑式的论文提出了一种强大的语言模型预训练技术和成功的微调策略，成为许多后续大型语言模型的标准。
- Transfer Learning in Natural Language Processing, Sebastian Ruder, Matthew E. Peters, Swabha Swayamdipta, Thomas Wolf, 2019 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Tutorials (Association for Computational Linguistics) DOI: 10.18653/v1/N19-5004 - 本教程全面概述了应用于自然语言处理的迁移学习技术，是理解其在大型语言模型中原理和应用的优质资源。
- Exploring the Limits of Language Modeling, Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, Yonghui Wu, 2016 arXiv preprint arXiv:1602.02410 DOI: 10.48550/arXiv.1602.02410 - 本文展示了在海量数据集上进行大规模语言模型预训练的有效性，表明了模型在专业任务之前学习通用语言理解的潜力。