趋近智
大语言模型微调入门
章节 1: 模型定制的根基
什么是微调？
预训练与微调的比较
何时进行微调：一个分析体系
微调策略概述
迁移学习在大型语言模型中的作用
配置开发环境
章节 2: 用于微调的数据准备
获取和选择高质量数据集
指令式与对话式数据格式
数据清洗和预处理技术
构建和组织定制数据集
用于微调的分词
动手实践：构建微调数据集
章节 3: 全参数微调
全参数微调的工作原理
全参数微调的架构考量
计算资源管理
配置训练参数及超参数
监控训练：损失与指标
保存和加载精调模型
实践：小型模型上的全参数微调
章节 4: 参数高效微调 (PEFT)
参数高效微调概述
低秩适应（LoRA）：原理与运作
使用PEFT库实现LoRA
量化及其对微调的影响 (QLoRA)
其他PEFT方法：概述
PEFT与完全微调的优劣对比
动手实践：使用 LoRA 进行微调
章节 5: 评估与部署
界定生成型任务的性能指标
定量评估：ROUGE、BLEU 和困惑度
定性评估：人工参与评估
构建评估流程
将适配器与基础模型合并的方法
为推理准备模型
实践：评估微调模型
定性评估：人工参与评估
这部分内容有帮助吗？
- Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, Jared Kaplan, 2022 arXiv preprint arXiv:2204.05862 DOI: 10.48550/arXiv.2204.05862 - 描述了如何利用人类反馈来调整大型语言模型，使其表现得有帮助且安全，展示了人机协作评估的实际应用。
- Holistic Evaluation of Language Models, Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, Dilara Soylu, Michihiro Yasunaga, Yian Zhang, Deepak Narayanan, Yuhuai Wu, Ananya Kumar, Benjamin Newman, Binhang Yuan, Bobby Yan, Ce Zhang, Christian Cosgrove, Christopher D. Manning, Christopher Ré, Diana Acosta-Navas, Drew A. Hudson, Eric Zelikman, Esin Durmus, Faisal Ladhak, Frieda Rong, Hongyu Ren, Huaxiu Yao, Jue Wang, Keshav Santhanam, Laurel Orr, Lucia Zheng, Mert Yuksekgonul, Mirac Suzgun, Nathan Kim, Neel Guha, Niladri Chatterji, Omar Khattab, Peter Henderson, Qian Huang, Ryan Chi, Sang Michael Xie, Shibani Santurkar, Surya Ganguli, Tatsunori Hashimoto, Thomas Icard, Tianyi Zhang, Vishrav Chaudhary, William Wang, Xuechen Li, Yifan Mai, Yuhui Zhang, Yuta Koreeda, 2023 Transactions on Machine Learning Research (TMLR) DOI: 10.48550/arXiv.2211.09110 - 提出了一个在多个场景和指标下评估大型语言模型的全面框架，强调了狭隘自动化指标的局限性以及进行更广泛评估的必要性。