将合成数据整合到LLM工作流程中，可能会面临一个主要的难题：模型性能随时间推移而下降。这个问题常被称为“模型崩溃”或“模型衰退”，可能发生在模型反复使用其他模型生成的数据进行训练时，尤其是在管理不当的情况下。模型性能下降的具体情况、使用合成数据时的常见原因，以及，尤其值得关注的是，识别和应对它的实用方法，都将在此进行详细说明。了解这些情况对于维护LLM的长期稳定运行和有效性非常重要。
什么是模型性能下降？
模型性能下降，在合成数据的使用中，指的是LLM能力下降的情况，即在主要或重复使用人工生成的数据进行训练或微调 (fine-tuning)后。模型可能不再进步，反而开始遗忘之前学到的信息，输出内容多样性减少，或在各类任务上的准确性降低。
想象一台复印机在复印副本。每一份复印件都会损失一些清晰度和保真度，一份复印件上的错误或污迹会被忠实地复制，并在下一份上可能被放大。同样，如果一个LLM生成合成数据，并且这些数据（带有其固有的不完善、偏见或缺乏真正的新颖性）被用来训练模型的新版本，这些不完善之处就可能变得根深蒂固并被放大。这可能导致一个螺旋式下降，其中每一代的模型和合成数据都比上一代略差。这在“闭环”系统中尤其是一种风险，即模型生成数据，然后自己（或后续模型）再使用这些数据进行训练。
下图说明了这种缺陷可能累积的迭代循环：
此图说明了模型性能如何在使用模型自身生成或由其他模型生成的合成数据进行迭代训练周期中下降。
模型性能下降的迹象
及早发现模型退化很重要。请注意以下常见迹象：
- 基准测试性能下降： 模型在标准评估基准（例如GLUE、SuperGLUE或自定义测试集）上的得分开始下降，即使是之前表现良好的任务也不例外。
- 输出多样性降低： 生成的文本变得更重复、平淡或通用。模型可能偏爱某些短语或句子结构，导致创造性和可变性明显下降。您可能会看到其输出的多样性分数（Ds）有所降低。
- 无意义或不相关输出增加： 模型可能会生成更多不连贯、事实不正确（如前面讨论过的“幻觉 (hallucination)”）或偏离主题的内容。
- 遗忘先前学到的信息： 模型可能失去曾经具备的能力或知识。例如，一个精通某种编程语言的模型可能开始犯基本的语法错误，或者一个了解特定方面的模型可能开始提供模糊或不正确的信息。
- 困惑度上升： 如果您在一致的验证数据集上监控困惑度（PPL），持续的增长可能表明模型在其预测中变得不确定且不准确，这通常是明显性能下降的前兆。
- 生成中的模式坍塌： 模型可能陷入生成非常有限多样性输出的境地，有效将其输出分布压缩到几种模式。
合成数据导致性能下降的主要原因
了解性能下降的原因可以帮助您预防它。以下是一些主要因素：
- 缺乏真正的新颖性和信息： LLM生成的合成数据，其本质是来源于该LLM已经学到的模式和信息。如果管理不当，它可能无法引入真正的新知识或足够多样的语言结构。模型最终会从现有数据的“影子”中学习。
- 错误和偏见的放大： 生成模型中存在的任何偏见、不准确或风格怪癖都可能编码到其产生的合成数据中。当另一个模型使用这些数据进行训练时，这些缺陷不仅会被学到，还可能被放大，导致在多代模型中产生复合效应。
- 分布不匹配： 合成数据的分布可能无意中偏离模型最终需要处理的数据分布。使用此类不匹配的数据进行训练可能导致模型在处理真实输入时表现不佳。
- 对合成人工痕迹的过拟合 (overfitting)： 模型有时会学习合成数据生成过程中特有的表面模式或人工痕迹，而不是潜在的、可泛化的知识。例如，如果一个用于问答的合成数据集总是以特定方式提问，模型可能会变得脆弱，难以处理措辞不同但语义相同的问句。
- 数据复杂性降低和同质化： 如果合成数据生成过程不够精细，无法创建丰富、复杂的示例，或者如果过滤过于严格而减少了多样性，那么生成的数据集可能过于简单或同质。使用此类数据进行训练可能导致模型能力迟钝。
应对模型退化的方法
幸运的是，有几种方法可以帮助您在使用合成数据时降低模型性能下降的风险：
-
优先考虑数据多样性和质量：
- 多样的生成技术： 如第2章所述，使用多种合成数据生成方法（例如，回译、基于规则的生成、释义、多种基于LLM的方法）。不要依赖单一来源或技术。
- 精细的提示工程 (prompt engineering)： 当使用LLM生成数据时，设计多样化和富有创意的提示，以鼓励生成广泛的输出、风格和复杂性。
- 注入受控随机性： 在生成过程中引入随机元素以增加多样性，但要监控以确保其不会降低质量。
- 严格过滤： 实施数据过滤管道（第5章）以删除低质量、重复或错误的合成样本。确保您的过滤器不会无意中减少必要的 다양성。
-
与真实数据进行策略性混合：
- 定期注入真实数据： 最有效的方法之一是定期将高质量、多样化的真实数据混合到您的训练数据集中。这会“扎实”模型，使其重新接触真实模式并纠正由合成数据引起的漂移。
- 维护“黄金标准”数据集： 保留一套高质量的数据集，用于定期微调 (fine-tuning)或作为参考，以防止模型偏离过远。
- 动态调整比例： 尝试调整合成数据与真实数据的比例。您可能一开始使用较高比例的合成数据来解决数据稀缺问题，但如果出现性能下降迹象，则增加真实数据比例。
-
持续全面的评估：
- 多方面基准测试： 定期在广泛的基准测试集上评估您的模型，这些测试集可用于检查准确性、多样性（Ds）、连贯性、事实正确性和潜在偏见。
- 保留集： 维护静态的真实数据保留集，这些数据从不用于训练，仅用于评估，以获得无偏的性能衡量。
- 人工参与审查： 纳入人工评估，特别是针对风格、语气以及自动化指标可能遗漏的细微重复或错误形式。
-
迭代改进和反馈循环：
- 分析模型输出： 仔细检查模型的输出，寻找性能下降的模式。这种分析可以为您如何调整合成数据生成或过滤过程提供线索。
- 调整生成参数 (parameter)： 例如，如果您注意到多样性下降，请重新考虑您的提示设计或生成模型参数（如温度）以鼓励更多样化的输出。
-
受控生成周期：
- 避免未经检查的递归： 对于模型生成数据、立即用其进行再训练然后重复循环而无人干预的全自动化流程要非常谨慎。每个周期都应包括严格的质量检查、过滤以及可能与真实数据混合。
- 世代快照： 考虑保留先前模型世代的快照。如果新一代模型显示出明显的性能下降，您可以回溯或分析发生了什么变化。
-
来源追踪和数据溯源：
- 如果可行，标记 (token)或追踪您训练数据的来源（例如，“真实人工标注”、“合成-版本1-释义”、“合成-版本2-LLM生成”）。如果发生性能下降，这对于诊断问题具有重要价值，可以帮助您查明有问题的 数据来源或生成方法。
这些应对方法的作用可以很明显。考虑一个场景，其中模型准确性和输出多样性在多个合成数据生成和再训练周期中被追踪：
模型性能（准确性和多样性）在连续合成数据生成周期中的变化。应对方法，例如与真实数据混合和质量控制，有助于维持性能水平，而未经应对的周期可能导致急剧下降。
通过实施这些对策，您可以借助合成数据的优势来扩展您的训练工作，同时积极避免LLM能力的衰退。警惕性、定期评估以及调整数据策略的意愿是您应对模型性能下降的最佳防御。
