趋近智
大型语言模型的微调与调整
章节 1: 大型语言模型适应原理
回顾：预训练语言模型和Transformer
微调和适配的必要性
自然语言处理中的迁移学习方法
微调时的架构考量
微调方法概述
章节 2: 微调数据准备
指令微调原则
指令数据集的获取与构建
监督微调（SFT）的数据格式化
域适应数据要求
数据稀缺与不平衡的处理
文本数据扩充技术
实践：准备指令微调数据集
章节 3: 全参数微调
全参数微调的机制
设置训练循环
超参数调优策略
防止过拟合的正则化方法
计算资源管理
检查点保存与训练恢复
动手实践：全参数微调较小规模的LLM
章节 4: 参数高效微调 (PEFT) 方法
参数高效性的原理
低秩适配 (LoRA)
量化低秩适配 (QLoRA)
适配器模块
提示调整
前缀微调
PEFT 方法比较
使用 Hugging Face PEFT 库进行实现
动手实践：使用 LoRA 进行微调
实操：使用QLoRA进行微调
章节 5: 高阶微调策略
多任务微调
顺序适应与持续学习
减轻灾难性遗忘
人类反馈强化学习 (RLHF) 介绍
奖励模型训练
使用 PPO 进行策略优化
高级适应中的挑战
章节 6: 微调模型的评估与分析
传统自然语言处理评估指标的局限性
评估指令遵循能力
评估事实准确性和幻觉
偏见与公平性评估方法
鲁棒性评估（对抗性攻击、分布外数据）
模型校准评估
定性分析与错误分类
人工评估规范
实践：分析模型输出中的错误
章节 7: 优化与部署考量
训练时的内存优化
使用分布式策略加速训练
微调后优化：量化
微调后优化：剪枝
合并 PEFT 适配器
模型序列化与打包
推理服务框架
生产环境中微调模型的监控
模型序列化与打包
这部分内容有帮助吗？
- Hugging Face Transformers: Share and Use Models, Hugging Face, 2024 (Hugging Face) - Hugging Face Transformers库中使用
save_pretrained和from_pretrained方法保存和加载模型、配置和分词器的综合指南。 - safetensors GitHub Repository, Hugging Face, 2022 - 提供
safetensors格式的技术规范、实现和背景，强调其相对于传统序列化方法的安全性和性能优势的官方仓库。 - Hugging Face PEFT Documentation: Package Structure, Hugging Face, 2024 (Hugging Face) - 文档描述了保存、加载和将参数高效微调（PEFT）适配器（如LoRA）与基础语言模型集成的具体步骤。
- ONNX (Open Neural Network Exchange) Documentation, ONNX Community, 2024 (Linux Foundation AI & Data (LFAI)) - 理解ONNX格式、其生态系统以及它如何在各种硬件和运行时实现模型互操作性和优化推理的官方资源。