趋近智
大型语言模型的微调与调整
章节 1: 大型语言模型适应原理
回顾：预训练语言模型和Transformer
微调和适配的必要性
自然语言处理中的迁移学习方法
微调时的架构考量
微调方法概述
章节 2: 微调数据准备
指令微调原则
指令数据集的获取与构建
监督微调（SFT）的数据格式化
域适应数据要求
数据稀缺与不平衡的处理
文本数据扩充技术
实践：准备指令微调数据集
章节 3: 全参数微调
全参数微调的机制
设置训练循环
超参数调优策略
防止过拟合的正则化方法
计算资源管理
检查点保存与训练恢复
动手实践：全参数微调较小规模的LLM
章节 4: 参数高效微调 (PEFT) 方法
参数高效性的原理
低秩适配 (LoRA)
量化低秩适配 (QLoRA)
适配器模块
提示调整
前缀微调
PEFT 方法比较
使用 Hugging Face PEFT 库进行实现
动手实践：使用 LoRA 进行微调
实操：使用QLoRA进行微调
章节 5: 高阶微调策略
多任务微调
顺序适应与持续学习
减轻灾难性遗忘
人类反馈强化学习 (RLHF) 介绍
奖励模型训练
使用 PPO 进行策略优化
高级适应中的挑战
章节 6: 微调模型的评估与分析
传统自然语言处理评估指标的局限性
评估指令遵循能力
评估事实准确性和幻觉
偏见与公平性评估方法
鲁棒性评估（对抗性攻击、分布外数据）
模型校准评估
定性分析与错误分类
人工评估规范
实践：分析模型输出中的错误
章节 7: 优化与部署考量
训练时的内存优化
使用分布式策略加速训练
微调后优化：量化
微调后优化：剪枝
合并 PEFT 适配器
模型序列化与打包
推理服务框架
生产环境中微调模型的监控
微调后优化：剪枝
这部分内容有帮助吗？
- Learning both Weights and Connections for Efficient Neural Networks, Song Han, Jeff Pool, John Tran, William J. Dally, 2015 Advances in Neural Information Processing Systems, Vol. 28 DOI: 10.48550/arXiv.1506.02626 - 提出了基于幅值的权重剪枝这一基础方法及其在减小模型尺寸方面的有效性。
- The Lottery Ticket Hypothesis: Finding Sparse, Trainable Subnetworks, Jonathan Frankle, Michael Carbin, 2019 International Conference on Learning Representations (ICLR), Vol. 11576 (Springer, Cham) DOI: 10.1007/978-3-030-22137-7_32 - 提出了在随机初始化的网络中存在稀疏子网络，这些子网络经过训练可以达到与完整网络相同的性能的假设。
- Are Sixteen Heads Really Better than One? Multi-Head Attention Is a Bag-of-Experts, Paul Michel, Omer Levy, Graham Neubig, 2019 International Conference on Learning Representations (ICLR) (International Conference on Learning Representations (ICLR)) DOI: 10.48550/arXiv.1905.09424 - 研究了Transformer模型中多头注意力机制的冗余性，提出了注意力头结构化剪枝的方法。
- torch.nn.utils.prune, PyTorch Documentation, 2023 - PyTorch官方文档，介绍了
torch.nn.utils.prune模块，提供了应用各种剪枝功能。