本章旨在帮助理解大型语言模型（LLM）中合成数据的作用与地位。高效的LLM的构建高度依赖大量且多样的数据集。获取此类数据可能因可用性、成本或隐私问题而面临困难。合成数据通过人工生成信息，为满足这些数据需求提供了一种途径。

在本章中，您将学习如何界定合成数据及其特性，尤其是在与LLM相关联时。我们将分析当前LLM庞大的数据需求，然后比较合成数据源与真实数据源，权衡它们各自的优点与局限。您将了解到生成合成数据的多种方法，并认识到这些数据如何应用于预训练 (pre-training)和微调 (fine-tuning)过程。此外，我们将讨论有助于形成高价值合成数据的属性。本章最后会给出关于专注于合成数据生成项目的初步配置建议。