定向预训练：使用合成生成内容

虽然通用预训练 (pre-training)让大型语言模型（LLMs）对语言和一般知识有广泛认识，但许多应用需要对特定领域具备高阶专业能力。例如，协助法律专业人员的大型语言模型需要掌握复杂的法律术语和推理 (inference)，而辅助医疗诊断的模型必须理解复杂的医疗状况和诊疗规程。这正是定向预训练的作用所在。定向预训练不只是依赖通用语料库，旨在让大型语言模型具备专业知识，使其在特定任务或行业中更有效。合成生成内容提供了一种有效且灵活的方法来生成所需的专业数据，特别是当真实的专业数据稀少、昂贵或难以获取时。

为什么需要针对性预训练 (pre-training)？专业化的益处

通用大型语言模型令人印象深刻，但它们的知识可能不够集中。定向预训练，通常被称为专业适应性预训练或持续预训练，具有多项益处：

1. 专业能力提升： 最直接的益处是模型在目标专业任务中表现明显更佳。这可能意味着在回答专业问题时有更高的准确性，更好地生成专业相关文本（例如，技术报告、特定框架中的代码），或者对行话和背景更透彻的理解。例如，通过合成金融新闻和分析对大型语言模型进行预训练，可以使其善于总结市场趋势或识别投资风险。

2. 小范围内的事实准确性提高： 通用模型在需要高专业知识的主题上可能会产生幻觉 (hallucination)或给出表面化的答案。通过在包含特定专业事实和理念的丰富语料库（即使是合成生成但经过精心整理）上进行预训练，你可以提升模型在该方面的可靠性。

3. 微调 (fine-tuning)时资源使用更优： 从一个已具备相关专业知识的基础模型开始，可以让后续的微调阶段更有效率。可能需要更少的微调数据，并且模型可能更快地收敛到特定下游任务上的期望性能。

4. 弥补知识不足和偏见： 通用语料库可能在某些专业、文化或观点上体现不足。合成数据可以有策略地生成以填补这些不足，从而形成一个更全面或更专业的模型。例如，你可以生成讨论特定行业中人工智能伦理考量的文本，以确保模型接触到这些重要讨论。

生成用于定向预训练 (pre-training)的合成数据

核心思路是构建一个语料库 $C_{synth\_domain}$，它包含目标专业丰富的语言、理念和信息。可以运用多种方法，通常是结合使用：

1. 大型语言模型驱动的生成及精准提示

现代大型语言模型本身是生成定向合成数据的很好的工具。主要在于有效的提示工程 (prompt engineering)。制作良好的提示能引导大型语言模型生成满足你特定要求的文本。

设想一个场景，你希望为可持续农业专业的大型语言模型预训练创建合成数据。你的提示可能如下所示：

Prompt:
Role: You are an expert agronomist specializing in sustainable farming practices.
Task: Generate a 700-word explanatory text about the principles and benefits of no-till farming.
Context: The text is intended for an agricultural science student and should be part of a larger corpus for pretraining a language model on sustainable agriculture.
Content Requirements:
- Explain what no-till farming is.
- Detail its benefits for soil health (e.g., reduced erosion, increased organic matter, water retention).
- Discuss its impact on biodiversity.
- Mention potential challenges or considerations for farmers adopting this practice.
- Use clear, scientific, yet accessible language.
- Include relevant terminology such as "soil structure," "carbon sequestration," "cover crops," and "crop rotation."
Style: Informative, objective, and educational.
Output Format: Plain text.

通过改变此类提示（例如，请求可持续农业内的不同主题、不同的文本长度，甚至不同风格，例如问答对或模拟专家对话），你可以构建一个多样化的合成语料库。

2. 扩展初始数据

如果你有少量真实专业数据（初始数据），可以使用合成方法来扩展它：

• 重新表述： 使用重新表述模型或大型语言模型来重新表述现有句子或段落，在保留原始含义和专业关联性的同时，创建新的变体。
• 总结与扩写： 生成较长文档的摘要，反之，对简明观点进行扩写以生成更长的文本。
• 风格转换（谨慎使用）： 如果你的专业内容是某种风格（例如，学术论文）但需要另一种风格（例如，解释性文章），可以尝试风格转换方法，尽管保持事实准确性非常重要。

3. 基于规则和模板的生成

对于具有高度结构化信息或重复模式的专业（例如，技术规范、某些类型的报告、代码文档），基于规则的系统或模板可以有效。尽管灵活性低于基于大型语言模型的生成，但它们提供高控制力并能产生一致的输出。例如，你可以定义用于生成软件功能描述的模板，填充参数 (parameter)、返回类型和常用示例。

4. 运用知识图谱和结构化数据

如果你的目标专业有现有的结构化知识资源，如本体论或知识图谱，这些可以被“言语化”以生成事实陈述或描述性文本。例如，来自生物医学知识图谱的三元组（例如，<drug_X> <treats> <disease_Y>）可以转换为自然语言句子：“药物X用于治疗疾病Y。”

将合成专业数据整合到预训练 (pre-training)流程中

一旦你有了你的合成专业语料库 $C_{synth\_domain}$，体积为 $V_{synth\_domain}$，你需要将其纳入大型语言模型的预训练。常见方法包括：

• 持续预训练（专业适应）： 这是一种常见方法。你选取一个现有的通用预训练大型语言模型，并继续对其进行预训练，但这次使用你的专业合成语料库（或侧重于此的混合语料）。这使得模型能够将其学到的表示和知识适应新的专业。

• 与通用语料库混合： 你可以将合成专业数据与更大的通用文本语料库混合。混合比例是一个重要的超参数 (parameter) (hyperparameter)。较高比例的合成专业数据将更强烈地促使模型进行该专业化。例如，你可能会创建一个预训练数据集，其中20%的数据是你的 $C_{synth\_domain}$，80%是通用文本。这有助于保持通用能力，同时获取专业知识。 此阶段的总数据量 $V_{target\_pretrain}$，可以是 $V_{target\_pretrain} = V_{synth\_domain} + V_{real\_general} + V_{real\_domain}$，其中 $V_{real\_domain}$ 是任何可用的真实专业数据。

  工作流程图，展示了合成专业数据与其他语料库相结合，用于定向大型语言模型预训练的过程。

• 课程学习： 在某些情况下，你可以构建合成数据以逐步引入理念，从简单到复杂，模拟课程。这有时会带来更高效的学习。

定向预训练 (pre-training)的有效考虑事项

尽管作用强大，但使用合成数据进行定向预训练需要仔细注意几个方面：

• 质量优于数量（在一定限度内）： 预训练中数据量固然重要，但合成专业数据的质量至关重要。嘈杂、不准确或格式不佳的合成文本会损害模型性能或导致其习得错误信息。投入时间完善生成提示并实行质量检查。
• 事实准确性与幻觉 (hallucination)减轻： 这对于正确性不容妥协的专业（例如，医疗、法律、工程）尤其重要。
  • 使用以更高事实准确性而闻名的大型语言模型进行生成。
  • 在生成过程中采用检索增强，即大型语言模型在生成文本前会查阅可信的知识库。
  • 实行严格的人工审查和验证，特别是对于高风险主题。
• 专业内的多样性： 即使在特定专业内，也要争取合成数据的多样性。涵盖各种子主题、写作风格（如果适用）和观点。过度重复或狭隘的合成数据会导致模型善于模仿这些特定模式，但缺乏更广泛的专业理解。
• 生成和计算成本： 使用最先进的大型语言模型API生成大量高质量合成文本会产生可观的成本。同样，持续预训练阶段本身是计算密集型。平衡期望的专业化程度与可用资源。
• 评估必不可少： 如何判断你的定向预训练是否成功？
  • 在保留的真实专业文本测试集上测量困惑度。较低的困惑度表明模型更熟悉该专业的语言模式。
  • 评估在与目标专业相关的下游任务上的表现。
  • 进行定性评估：让专业专家审查模型的输出，检查其准确性、连贯性和专业适宜性。

通过周全地生成和使用合成数据，你可以引导大型语言模型在特定方面形成有价值的专业能力，显著扩展其在专业任务中的应用范围和有效性。这种定向方法超越了“一刀切”的预训练模式，使得构建更具针对性和更有能力的大型语言模型成为可能。