现代大型语言模型需要大量信息，因此这些数据的来源就变得非常重要。虽然来自交互的数据，被称为“真实数据”，一直是传统依据，但其获取和应用面临多种难题。合成数据成为一种有价值的替代或补充。清晰了解真实数据和合成数据各自的独特特点、优点和缺点，对于在大型语言模型项目中做出有效决策是必要的。让我们详细考察它们。
真实数据
真实数据，通常指的是数据，是从真实事件、交互或观察中收集到的信息。例子包括从网站抓取的文本、数字化书籍和文章、客户服务电话的记录，或者匿名化患者记录。这类数据本身反映了语言的实际使用方式、人们的行为方式以及事件的发生过程。
真实数据的优点
- 代表真实情况：真实数据提供一个直接的途径来了解您的LLM旨在理解或建模的现象。其模式和分布本身是真实的。
- 自然的复杂性和丰富性：语言非常多样和复杂，充满了难以人工生成的细微模式、文化引用和细节。广泛来源的真实数据可以有效捕获这种丰富性。
- 在某些情况下具有更高可信度：对于一些应用，在精心整理的真实数据上训练的模型可能被认为更可靠，因为训练材料直接反映了目标范围。
真实数据的缺点
- 可得性与稀缺性：对于许多专业任务、特定范围或资源较少的语言，足够数量的高质量真实数据可能根本不可用或不易获取。
- 获取成本：收集、清洗和标注大型真实数据集的过程可能需要大量投入，包括时间、资金和人力。许可现有数据集也可能相当昂贵。
- 隐私顾虑：真实数据通常包含个人身份信息（PII）或其他敏感细节。使用此类数据需要严格遵守隐私法规（如GDPR或CCPA）、匿名化方法，以及通常需要用户同意，而大规模获取和管理这些同意可能很困难。
- 固有的偏见：从不同来源收集的数据可能反映现有的社会偏见，与性别、种族、年龄或其他人口统计因素相关。在此类数据上训练的LLMs有学习甚至放大这些不良偏见的风险。
- 噪声和不一致性：数据很少是完美的。它可能杂乱无章、包含错误、具有过时信息，或在格式和质量上表现出不一致，需要大量的预处理工作。
- 道德和法律限制：版权法、网站服务条款和数据使用协议可能对真实数据如何合法获取、使用和分发施加限制。
合成数据
合成数据是人工创建的信息，并非直接观察收集而来。它是通过编程方式生成的，使用算法、统计模型、模拟，甚至包括LLMs在内的其他生成式AI模型。主要目标是产生能够模拟真实数据所需特征的数据，以用于特定的训练或评估目的。
合成数据的优点
- 按需可得和可伸缩性：如果您需要更多用于特定小范围或特定指令格式的数据，合成数据通常可以按需大量生成，有助于解决数据稀缺的问题。
- 增强的控制和自定义能力：生成过程提供了高度的控制能力。这使得能够创建针对特定需求定制的数据集，例如强调罕见语言现象、生成边缘情况的例子，或确保特定的数据分布以实现公平性。
- 设计上保障隐私：因为数据是生成的，从一开始就可以设计排除PII或其他敏感信息。这显著降低了隐私风险并简化了法规遵守。
- 偏见缓解的潜力：尽管合成数据并非天然没有偏见（因为生成过程本身可能会从其来源或设计中引入偏见），但它提供了一个机会，可以有意识地设计更平衡的数据集，或积极抵消真实数据中已知的偏见。
- 针对特定需求的成本效益：对于某些应用，特别是当真实数据获取或标注成本很高时，生成合成数据可以提供一种更经济的方式来获取必要的训练材料。
- 定向数据增强：合成数据可以有效用于丰富现有真实数据集，例如，通过创建现有文本的复述版本或为分类任务中代表性不足的类别生成更多示例。
- 安全模拟罕见或敏感场景：为了训练模型处理现实中危险、不道德或极为罕见的情况（例如，对紧急情况的响应，特定的罕见医疗对话），合成数据提供了一种安全且合乎道德的数据生成替代方案。
合成数据的缺点
- 对数据分布的逼真度：一个主要难题是确保合成数据准确捕捉数据的全部复杂性、细微特征和统计特性。如果生成不当，它可能会显得人工化，或无法充分覆盖事件和语言使用的“长尾”。
- 引入人为因素或偏见的风险：用于生成合成数据的算法或模型可能会无意中引入自己的偏见或系统性的人为因素。例如，如果使用LLM生成数据，它可能会复制甚至放大其原始训练语料库中存在的偏见。
- 多样性不足的可能性（“合成同质性”）：如果生成过程缺乏足够的变化，结果数据集可能不具备数据的多样性。这可能导致模型在合成分布上表现良好，但在接触真实数据时泛化能力较差。
- 质量控制很必要：“垃圾进，垃圾出”的原则与合成数据高度相关。严格的质量控制、验证和持续评估是必要的，以确保生成的数据连贯、相关，并真正适用于预期的LLM训练或微调 (fine-tuning)任务。
- 模型崩溃或性能下降的风险：一个新兴的研究和关注点是有时被称为“模型崩溃”或“哈布斯堡效应”的现象。当模型反复在自身或类似模型生成的合成数据上训练时，就可能发生这种情况，可能导致性能逐渐下降，并失去与真实数据分布丰富性的关联。
选择真实数据与合成数据（或两者结合）
使用真实数据、合成数据或两者战略组合的决定，取决于具体的LLM应用、可用的资源以及面临的操作限制。
当需要高逼真度模式表示，并且此类数据在道德和法律上可获取时，真实数据通常是必不可少的。它经常作为衡量质量和适用性的标准。
然而，合成数据在以下几种关键情况下展示出其优势：
- 解决数据稀缺问题：当某个特定范围、任务或语言的真实数据不足或完全没有时。
- 保护隐私：当处理敏感信息时，使用真实数据会带来不可接受的隐私风险。
- 控制数据特性：当您需要创建具有特定属性的数据时，例如用于指令微调 (fine-tuning)的多样化示例、覆盖罕见边缘情况的数据，或旨在缓解偏见的精心平衡的数据集。
- 增强现有数据集：扩展现有真实数据集的数量和多样性，从而提高模型鲁棒性。
- 降低成本：当获取或标注足够数量真实数据的财务支出过高时。
在许多现代LLM开发项目中，混合方法通常能产生最有效的结果。真实数据可以提供一个基础，而合成数据可以被战略性地创建和整合，以填补特定空白、增强特定能力（如复杂推理 (inference)或指令遵循）、解决数据不平衡问题，或改善模型安全性和对齐 (alignment)。例如，一种常见策略是使用大量真实文本进行初始预训练 (pre-training)阶段，随后使用精心制作的合成数据对LLM进行微调，以适应特定的下游任务或塑造其对话风格。
本图对真实数据源和合成数据源在大型语言模型开发中的几个重要属性进行了相对比较。某个属性上表现“更好”的数据类型得分更高。
