趋近智
大型语言模型的微调与调整
章节 1: 大型语言模型适应原理
回顾：预训练语言模型和Transformer
微调和适配的必要性
自然语言处理中的迁移学习方法
微调时的架构考量
微调方法概述
章节 2: 微调数据准备
指令微调原则
指令数据集的获取与构建
监督微调（SFT）的数据格式化
域适应数据要求
数据稀缺与不平衡的处理
文本数据扩充技术
实践：准备指令微调数据集
章节 3: 全参数微调
全参数微调的机制
设置训练循环
超参数调优策略
防止过拟合的正则化方法
计算资源管理
检查点保存与训练恢复
动手实践：全参数微调较小规模的LLM
章节 4: 参数高效微调 (PEFT) 方法
参数高效性的原理
低秩适配 (LoRA)
量化低秩适配 (QLoRA)
适配器模块
提示调整
前缀微调
PEFT 方法比较
使用 Hugging Face PEFT 库进行实现
动手实践：使用 LoRA 进行微调
实操：使用QLoRA进行微调
章节 5: 高阶微调策略
多任务微调
顺序适应与持续学习
减轻灾难性遗忘
人类反馈强化学习 (RLHF) 介绍
奖励模型训练
使用 PPO 进行策略优化
高级适应中的挑战
章节 6: 微调模型的评估与分析
传统自然语言处理评估指标的局限性
评估指令遵循能力
评估事实准确性和幻觉
偏见与公平性评估方法
鲁棒性评估（对抗性攻击、分布外数据）
模型校准评估
定性分析与错误分类
人工评估规范
实践：分析模型输出中的错误
章节 7: 优化与部署考量
训练时的内存优化
使用分布式策略加速训练
微调后优化：量化
微调后优化：剪枝
合并 PEFT 适配器
模型序列化与打包
推理服务框架
生产环境中微调模型的监控
计算资源管理
这部分内容有帮助吗？
- Mixed-Precision Training, Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, Hao Wu, 2018 International Conference on Learning Representations (ICLR) 2018 DOI: 10.48550/arXiv.1710.03740 - 介绍混合精度训练技术（包括损失缩放）的奠基性论文，旨在显著降低内存使用并加速深度学习模型训练。
- Training Deep Nets with Sublinear Memory Cost, Tianqi Chen, Bing Xu, Chiyuan Zhang, Carlos Guestrin, 2016 arXiv preprint arXiv:1604.06174 DOI: 10.48550/arXiv.1604.06174 - 提出梯度检查点（也称为激活检查点）的原始研究论文，通过计算换取内存，从而实现更深层神经网络的训练。
- QLoRA: Efficient Finetuning of Quantized LLMs via LoRA, Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer, 2023 arXiv preprint arXiv:2305.14314 DOI: 10.48550/arXiv.2305.14314 - 介绍了 QLoRA，一种微调量化大型语言模型的方法，其内存节省主要依赖于8位优化器和分页优化器。
- DeepSpeed: Large Scale Distributed Training of DL Models with System Optimizations, Saurabh Agarwal, Shuai Che, Michael Gschwind, Hanwen Chang, Minjia Zhang, Reza Yazdani, Jeff Rasley, Elton Zheng, Minmin Gong, Xinggang Wang, Hao Liu, Bo Li, Yuxiong He, 2021 Proceedings of the VLDB Endowment, Vol. 15 (VLDB Endowment) DOI: 10.14778/3554821.3554867 - 介绍了 DeepSpeed，一个深度学习优化库，通过各种系统优化（包括内存管理）实现高效的大规模分布式训练。
- Hugging Face Accelerate Documentation, Hugging Face, 2024 (Hugging Face) - Hugging Face Accelerate 的官方文档，该库简化了混合精度训练、梯度累积和分布式训练的设置。