生成内容的定性评审方法

定量指标，例如困惑度 ($PPL$) 或多样性得分 ($D_s$)，能为合成数据提供有用的数值信息，但它们并非全貌。数字无法总是捕捉到语言的细节，例如连贯性、细微语境中的事实准确性，或者生成文本是否真正符合预期任务。定性评审方法因此变得非常重要。人工评估能让我们对数据的适用性有更全面的了解，并且能发现自动化指标可能遗漏的问题。

定性评审要求人工评估者检查合成数据样本，以根据一组预设标准来评估其特点。这是确保你生成的数据不仅在统计上合理，而且有意义、准确且对你的LLM预训练或微调目标有用的重要一步。

定性评估的主要方面

当评审员检查合成文本时，他们应关注以下几个方面：

1. 连贯性和可读性：

   • 文本是否通顺？
   • 语法是否正确，结构是否良好？
   • 句子之间是否逻辑连贯？
   • 语言是否自然，还是听起来人工生硬？

2. 相关性和任务符合度：

   • 如果数据用于微调，它是否准确反映了预期任务？例如，如果生成问答对，答案是否与问题相关？
   • 内容是否切题，还是会跑偏？
   • 对于指令遵循数据，输出是否正确执行了给定的指令？

3. 事实准确性和一致性：

   • 文本是否包含事实错误或误导信息？这对于旨在让模型了解现实的数据尤其重要。
   • 信息在单个数据样本内和不同样本之间是否保持一致？

4. 语调、风格和角色设定：

   • 如果预期了特定语调（例如，正式、非正式、幽默）或风格，是否保持了一致？
   • 如果数据旨在使LLM具有特定角色，文本是否准确反映了该角色？

5. 安全性和适宜性：

   • 文本是否包含任何有偏见、有害、冒犯性或不当内容？
   • 是否存在任何隐私问题，例如生成个人可识别信息 (PII)，即使并非有意？

6. 原创性和非重复性：

   • 合成文本是提供了新颖的信息或表达方式，还是仅仅重复了常见模式？
   • 是否存在过度重复的迹象，无论是在单个样本内还是在整个数据集中？

7. 完整性和实用性：

   • 对于指令-响应对，响应是否完整且有帮助？
   • 合成数据是否为你的训练目标带来了真正的价值？

定性评审流程的建立

系统化的定性评审方法能带来更可靠且可操作的反馈。

1. 抽样策略

评审每条生成的数据通常不切实际，尤其是在数据集很大时。因此，有效的抽样很重要：

• 随机抽样：选择数据的随机子集进行评审。这能提供质量的总体概览。
• 分层抽样：如果你的数据有不同类别或使用不同方法生成，则按比例从每个层中抽样，以确保代表性。
• 异常/边缘案例抽样：专门选择定量指标标记为异常的样本，或由有挑战性的提示生成的样本。这有助于识别失败模式。

2. 制定评审指南和评分标准

清晰、详细的指南对于一致性评估根本，特别是在有多个评审者参与时。评分标准有助于标准化评估。

一个简单的评分标准可能如下所示：

评审标准	分数 (1-5)	描述
连贯性	1-5	1: 不可理解；3: 费力可理解；5: 非常清晰
相关性	1-5	1: 偏题；3: 部分相关；5: 与提示/任务高度相关
事实准确性	1-5	1: 大部分不准确；3: 存在一些不准确；5: 完全准确（或不适用）
安全性	二元/标记	安全 / 不安全（带不安全内容类别，例如：偏见、有害性）
语调一致性	1-5	1: 语调不一致；3: 大致一致；5: 完全一致（或不适用）

你的评分标准应根据合成数据的具体目标进行定制。例如，如果你正在生成创意故事，你可能会添加“引人入胜性”或“创造性”的评审标准。

3. 人工标注与评审平台

评审本身可以采用多种方法：

• 内部评审团队：利用你自己的团队成员，特别是那些熟悉项目目标的成员。这能提供高质量的反馈，但可能耗费大量资源。
• 众包平台：像Amazon Mechanical Turk这样的服务可用于大规模标注任务。这通常更具成本效益，但需要非常明确的指南和质量控制机制。
• 专业标注服务：公司提供由训练有素的标注员进行的专业标注服务，这可能是一个不错的折中方案。

4. 培训评审员

无论由谁进行评审，适当的培训都非常重要。评审员应全面理解项目背景、合成数据生成方法和评估标准。进行校准会议，让评审员评估同一组样本并讨论他们的评分，以统一理解。

5. 标注者间一致性 (IAA)

当有多个评审员参与时，衡量他们判断的一致性很重要。标注者间一致性 (IAA) 指标，例如 Cohen's Kappa ($\kappa$) 或 Fleiss' Kappa，用于量化一致性水平。 A低的IAA分数（例如 $\kappa < 0.4$）可能表明指南模糊、培训不足或标准高度主观。目标是使 $\kappa$ 值达到0.6或更高以获得合理的一致性，0.8或更高以获得强一致性。

Cohen's Kappa 的公式为： $\kappa = \frac{P_o - P_e}{1 - P_e}$ 其中，$P_o$ 是观测一致比例，$P_e$ 是偶然一致概率。计算 $P_e$ 取决于每个标注员评分的分布。虽然你可能不会总是手动计算，但了解其作用有助于评估你的定性反馈的可靠性。

6. 迭代反馈循环

定性评审不应是一次性步骤。评审结果应反馈到合成数据生成过程中。

一张图表，说明了合成数据生成、定性评审、反馈分析和生成流程改进的迭代循环。

如果评审发现连贯性差、事实不准确或存在偏见等问题，请相应调整你的生成技术、提示或源数据。然后，生成一批新的数据并重复定性评估。

定性评审的实用工具

虽然简单的电子表格可以用于小规模评审，但有几种工具可以帮助完成这个过程：

• 标注软件：像Label Studio、Prodigy (来自 Explosion AI) 或 Doccano 这样的工具提供了文本标注界面，允许评审员高亮显示文本片段、分配标签和提供评论。
• 问卷调查工具：对于偏好测试（例如，“这两种回应哪一种更好？”），可以调整使用SurveyMonkey或Google Forms等平台。
• 自定义网页界面：对于特定工作流程，你可能需要开发一个简单的内部网络应用程序来展示样本并收集反馈。

定性评审中的挑战

• 主观性：人类判断本质上是主观的。清晰的指南、培训和IAA指标有助于缓解这一点，但一定程度的主观性将始终存在。
• 可扩展性和成本：由人工进行彻底的定性评审既耗时又可能昂贵，特别是对于非常大的数据集。应优先评审最具影响的数据或方面。
• 评审员疲劳：评审大量文本可能导致疲劳和对细节关注度的下降。应将评审任务分解，并确保评审员得到充分休息。
• 识别细微问题：一些问题，例如非常细微的偏见或错误，即使是细致的人工评审员也可能遗漏。将定性评审与其他方法结合，例如红队测试（主动尝试攻破模型或引出不良响应），可能会有益。

将评审方法整合到你的合成数据工作流程中，可以从表面层面的指标转向对数据质量的真正理解。这种人机协作方法对生成真正能增强LLM能力的合成数据很重要，它能确保数据不仅信息丰富，而且连贯、可靠并与你的目标一致。