趋近智
在确立了合成数据生成方法及其在大型语言模型预训练 (pre-training)和微调 (fine-tuning)中的应用之后,本章将转而介绍数据增强和流程优化的更精巧技术。
在本章中,您将学习如何在嵌入 (embedding)空间中直接增强数据,以及如何使用合成信息构建结构化的学习路径,这常被称为课程学习。我们还将讨论合成偏好数据的生成,这是AI反馈强化学习 (reinforcement learning)(RLAIF)等对齐 (alignment)方法的重要组成部分。此外,本章还详细阐述了用于过滤和清洗合成数据集的自动化管道开发、自动化质量保证的规程,以及数据生成工作流迭代改进的策略。一个实践练习将引导您实现一个数据过滤脚本。
5.1 嵌入表示中的精细数据增强
5.2 结构化学习路径与合成数据
5.3 生成用于对齐方法的偏好数据
5.4 构建数据筛选与清洗管道
5.5 合成数据集的自动化质量保证
5.6 合成数据生成的迭代优化
5.7 动手实践:实现数据过滤脚本