识别和减少人工数据集中的偏差

虽然生成大量合成数据可以大大加快LLM的开发，但“输入垃圾，输出垃圾”这句格言依然适用。如果合成数据本身带有偏差，那么在此基础上训练或微调的LLM很可能会采纳并放大这些偏差，从而导致不公平或有偏的结果。识别您人工数据集中潜在偏差的策略，以及减轻其影响的方法，旨在确保您的合成数据能积极促进LLM的性能和公平性。

了解合成数据中偏差的来源

合成数据本身并非天生客观或没有偏差。其特性是由生成过程决定的，这个过程可以通过几种方式引入或延续偏差：

1. 继承性偏差：如果用于生成合成数据的LLM（“生成器LLM”）是在有偏的文本上进行预训练的，或者如果用于启动生成的种子数据包含偏差，这些偏差通常会在合成输出中被复制。例如，如果一个生成器LLM从历史文本中学习，而这些文本中某些职业主要与某一性别相关联，它可能会生成强化这些刻板印象的合成数据。

2. 生成过程偏差：用于合成数据生成的算法和技术本身就可能引入偏差。基于规则的系统可能反映其创建者的偏见。即使是复杂的基于LLM的生成，也可能形成过度表示其认为更容易生成的某些模式或风格的倾向，如果管理不慎，会导致数据集出现偏斜。例如，如果初始种子指令缺乏多样性，自我指令方法可能会生成狭窄范围的指令类型。

3. 人工输入偏差：当人类参与编写提示、筛选示例或为合成数据生成提供反馈时，他们有意识或无意识的偏见都可能影响输出。如果用于生成人物描述的提示措辞不慎，可能会导致刻板印象描写。

4. 抽样偏差：种子数据的选择，或用于从生成的合成数据中抽样的方法，都可能无意中引入偏差。如果您正在生成产品评论，并且主要从正向种子示例中抽样，那么产生的合成数据集将缺乏负面观点。

识别这些来源是创建更公平和更具代表性的合成数据的第一步。

识别偏差的方法

检测偏差需要结合计算分析和仔细的人工监督。以下是几种方法：

定量分析

数值方法可以帮助显示您的合成数据中的不平衡和偏斜表示。

• 分布分析：检查合成数据集中术语或人口学表示的频率。例如，如果您正在生成合成新闻文章，您可以统计与不同性别相关的姓名或代词的出现次数，或者某些群体与特定主题（例如职业、活动）关联的频率。将这些分布与已知分布或期望的平衡表示进行比较。 一个简单的检查可能包括统计关键词：

  # 关键词频率的简化示例
  def check_keyword_balance(synthetic_texts, group1_keywords, group2_keywords):
      count1 = 0
      count2 = 0
      for text in synthetic_texts:
          text_lower = text.lower()
          for kw in group1_keywords:
              count1 += text_lower.count(kw)
          for kw in group2_keywords:
              count2 += text_lower.count(kw)
  
      print(f"第1组关键词提及次数: {count1}")
      print(f"第2组关键词提及次数: {count2}")
      # 进一步分析将涉及对这些计数进行归一化
      # 并比较它们的比例。
  
  # 示例用法:
  # texts = ["The engineer fixed the server. He was quick.", "The manager, she approved the plan."]
  # male_terms = ["he", "his", "man", "engineer"] # 示例术语
  # female_terms = ["she", "her", "woman", "manager"] # 示例术语
  # check_keyword_balance(texts, male_terms, female_terms)
  

  这个简单示例突显了这种思路。更复杂的分析可能涉及查看代表敏感属性的术语与其他描述性词语之间的共现统计，例如点互信息（PMI）。

• 公平性指标：如果合成数据旨在用于公平性非常重要的下游任务（例如分类模型），有时可以调整标准公平性指标。例如，如果生成用于贷款申请的合成数据，您可以在此数据上训练一个代理模型，并评估其在受保护群体中的人口均等或机会均等等指标。但是，将这些直接应用于原始文本可能很复杂。

• 嵌入分析：像词嵌入关联测试（WEAT）或句编码器关联测试（SEAT）这样的技术可以用于评估生成文本语义空间中的偏差。这些测试衡量目标词集（例如男性/女性名字）与属性词（例如职业/家庭相关术语）之间的关联。显著关联可能表明LLM学习或生成的刻板印象偏差。

定性分析

仅靠定量指标可能无法捕捉所有形式的偏差，尤其是不易察觉的偏差。人工审查不可或缺。

• 多样化人工审查：组织一个多样化的审查小组来检查合成数据的样本。他们不同的背景和视角有助于识别可能被同质化群体或自动化工具遗漏的偏差。向审查员提供清晰的指南和清单，重点关注：
  • 刻板印象描写（性别、种族、年龄等）
  • 冒犯性、贬低性或排斥性语言
  • 群体代表不足或错误代表
  • 缺乏多样化的视角或场景。
• 反事实探查：这涉及对与敏感属性相关的生成文本段落进行最小的、有针对性的更改，并观察模型（或生成过程本身）如何响应或完成文本。例如，生成一个故事片段：“这位首席执行官，约翰，在董事会发表了讲话……”然后，将其更改为“这位首席执行官，简，在董事会发表了讲话……”如果随后的合成延续在反映性别刻板印象的方式上系统地不同（例如，约翰的讲话被描述为“果断”，而简的讲话被描述为“温和”），则表明存在偏差。

探测合成数据训练的模型

评估合成数据偏差的一种间接方式是使用这些数据训练下游模型，然后探测该模型的偏差行为。如果下游模型表现出偏差，这强烈表明合成训练数据可能导致了这种情况。如果合成数据是更大、混合数据集的一部分，则这种方法特别有用。

以下流程图显示了合成数据中偏差的生命周期，从其来源到检测和潜在的缓解循环。

此流程图显示了偏差如何产生、如何在合成数据中被检测到以及缓解偏差的策略，并强调了迭代方法。

减少偏差的策略

一旦识别出偏差，可以采用多种策略来减少其存在或影响。这些策略通常涉及合成数据管道不同阶段的干预。

1. 修改或平衡源数据

如果您的合成数据生成依赖于种子数据或用于风格迁移或提示的特定语料库：

• 种子数据去偏：在使用初始数据之前，尝试对其进行去偏处理。这可能涉及重新加权样本以更好地代表少数群体，甚至对嵌入进行对抗性训练以消除特定的属性关联。
• 增强代表不足的群体：如果您的种子数据代表不足某些人口群体或视角，请积极增加与这些群体相关的更多示例来增强它。这有助于生成器“看到”更平衡的输入。

2. 控制生成过程

在生成阶段影响LLM以产生偏差较小的输出。

• 仔细的提示工程：这是最直接的方法之一。编写明确要求多样性、中立性或反刻板印象示例的提示。
  • 避免：“生成一个关于护士的故事。”
  • 尝试：“生成三个关于不同背景和性别的护士的短故事，突出他们的专业技能。”
• 受限解码：一些生成框架允许对输出进行限制，例如强制包含或排除某些术语，或引导生成朝向特定属性。
• 对抗性训练（进阶）：为了更好的控制，您可以训练一个单独的模型（判别器）来检测有偏内容。然后训练生成器模型来生成判别器无法识别为有偏的数据。这是一个更复杂的设置但可能有效。
• 输出重排序：为每个所需数据点生成多个候选合成样本。然后，使用一个辅助模型或一组启发式方法（可以包括偏差评分函数）对这些候选样本进行排序，并选择最相关且偏差最小的一个。

3. 生成数据后处理

合成数据生成后，您可以应用进一步的优化步骤。

• 过滤：根据定量指标或定性审查，过滤掉被识别为高度有偏、刻板印象或有害的合成实例。
• 针对公平性的定向增强：如果您的分析显示特定代表不足（例如，合成对话中女性很少担任技术角色），您可以特别提示生成器创建更多示例来填补这些空白或提供反例。
• 修复数据：在某些情况下，即使不丢弃有偏样本，也可能对其进行“修复”。例如，如果一个合成传记刻板地过度使用性别代词，后处理脚本可以尝试中和语言或交换代词以创建反事实版本。

4. 确保多样化的人工监督

在整个过程中，从设计提示到审查输出，都应涉及一个多样化的团队。不同的生活经历和视角对于发现他人可能遗漏的偏差是无价的。

5. 迭代改进

偏差缓解很少是一次性过程。这是一个迭代循环：生成、评估偏差、缓解，然后重复。持续监控数据和在此基础上训练的模型。

关于“公平性”的说明

非常重要的一点是，“公平性”是一个复杂且多方面的思想，具有各种数学和社会定义（例如，人口均等、机会均等、个体公平性）。什么构成不希望的“偏差”可能很大程度上取决于具体的应用和社会背景。在开始缓解偏差之前，请为您的项目定义公平性，并确定哪些潜在偏差最需要处理。试图同时优化所有公平性定义通常是不可能的。

通过积极识别并周全处理合成数据集中的偏差，您可以为大型语言模型创建更可靠、更公平、最终更有用的训练材料。这不仅有助于提升模型性能，还有助于更负责任的AI发展。