选择正确的评估指标对于得出有意义的合成数据质量评估结果非常必要。鉴于前面章节中介绍了涵盖统计保真度、机器学习 (machine learning)实用性和隐私性的各类衡量标准，选取与您的特定目标相符的一部分指标至为重要。评估指标选择不当可能导致对数据适用性做出错误的判断，甚至可能造成不适合或有害的合成数据被投入使用。
本节将系统地指导您进行指标选择。这项选择并非随意，它由几种因素共同决定：合成数据的预期用途、原始数据的特点、所用生成模型的类型以及任何操作限制。
使衡量标准与应用目的相符
衡量标准选择的主要依据应该是合成数据生成的目的。请自问：这些合成数据旨在解决什么问题？
-
统计分析与报告： 如果合成数据主要用于探索性数据分析、生成总体统计数据或在不泄露个人记录的情况下分享信息，那么应优先考虑统计保真度指标。侧重于：
- 单变量分布比较（例如，KS检验、Wasserstein距离）。
- 多变量比较（例如，相关矩阵距离、倾向得分、PCA相似度）。
- 信息论测量（例如，互信息比较）。
确保个人记录不被复制或轻易推断的隐私指标在此也很重要。除非分析涉及构建简单的预测模型，否则机器学习 (machine learning)实用性可能关联性较小。
-
机器学习模型训练： 当目标是为下游机器学习模型训练或增强训练数据时，机器学习实用性成为核心考量。优先考虑：
- 使用目标模型架构的训练-合成-测试-真实（TSTR）性能。将标准机器学习评估指标（准确率、F1分数、AUC、MSE等）与训练-真实-测试-真实（TRTR）基线进行比较。
- 特征重要性一致性分析。
- 训练-真实-测试-合成（TRTS）可以有助于了解真实数据训练的模型是否捕获了合成数据的分布。
高统计保真度可以很好地指示潜在实用性，但通过TSTR直接测量实用性是最明确的检验。隐私性可能是次要的，除非模型本身处理敏感信息或需要隐私保障。
-
隐私保护： 如果主要目的是为敏感数据创建隐私保护替代品，那么隐私评估技术非常重要。强调：
- 成员推断攻击（MIA）脆弱性评估。
- 属性推断攻击分析。
- 基于距离的衡量标准（例如，到最近记录的距离 - DCR，最近邻距离比 - NNDR）。
- 差分隐私保障的验证，如果适用（例如，计算经验隐私损失）。
尽管通常需要一定程度的统计保真度和实用性以使私有数据有用，但主要衡量标准必须量化 (quantization)所提供的隐私保护。
-
软件测试或系统模拟： 用于测试软件系统（例如，数据库负载测试、UI测试）的合成数据可能优先考虑数据量、结构正确性以及特定边缘情况，而非高度统计相似性。
- 衡量标准可能侧重于基本模式验证、数据类型正确性、值域符合性，以及特定所需模式或异常值的频率。
- 高级统计保真度或机器学习实用性通常不那么重要。
考量数据类型与结构
数据本身的性质决定了某些衡量标准的适用性。
- 表格数据： 在保真度、实用性和隐私性方面，其适用的衡量标准范围最广。大多数统计测试、TSTR/TRTS框架和标准隐私攻击都针对表格数据有明确定义。
- 图像数据： 需要专门的衡量标准。
- 保真度/质量： Fréchet Inception Distance (FID)、Inception Score (IS)、精确度和召回率是使用深度学习 (deep learning)特征评估感知质量和分布相似度的标准。像素级统计比较通常信息量较少。
- 实用性： 使用相关计算机视觉任务（分类、目标检测、分割）进行TSTR评估。
- 隐私： MIA可以进行调整，但评估视觉可区分性或记忆性可能需要不同的方法。
- 文本数据： 评估通常涉及NLP特有的衡量标准。
- 保真度/质量： 困惑度（用于语言模型）、BLEU/ROUGE得分（如果适用，将生成文本与参考文本进行比较）、语义相似度测量（使用嵌入 (embedding)）。
- 实用性： 使用下游NLP任务（分类、情感分析、命名实体识别）进行TSTR。
- 隐私： 评估唯一序列的记忆性，针对文本调整的MIA。
- 时间序列数据： 需要能够捕获时间依赖性的衡量标准。
- 保真度： 比较自相关函数（ACF）、功率谱密度（PSD）、基于动态时间规整（DTW）的分布距离（例如，判别分数）。
- 实用性： 使用预测或时间序列分类/异常检测模型进行TSTR。
- 隐私： 评估轨迹唯一性或序列记忆性。
考量生成模型
尽管目标是评估输出数据，但生成数据的过程可以影响指标选择，尤其是在比较模型时。
- GANs： 通常使用对样本质量和多样性敏感的衡量标准进行评估，例如FID、IS、精确度/召回率（针对图像）。开发过程中，收敛诊断也可能具有关联性。
- VAEs： 评估通常包括重建质量（如果适用，例如重建的MSE）以及生成质量衡量标准如FID。与潜在空间相关的测量（例如，平滑度、解耦性）也可能被考虑。
- 扩散模型： 评估通常使用与GANs相似的衡量标准（FID、IS、精确度/召回率），侧重于样本质量。
- 统计模型（例如，Copula、贝叶斯网络）： 保真度通常使用特定于模型结构的拟合优度检验或学习参数 (parameter)的直接比较（例如高斯Copula的相关矩阵）进行评估。
了解模型的优点和缺点有助于确定评估的重点。例如，GANs可能在视觉保真度方面表现出色，但有时在多样性（模式崩溃）方面表现不佳，使得多样性指标成为一个主要方面。VAEs可能会生成更多样化但可能模糊的样本，这表明应同时侧重于保真度和重建（如果适用）。
平衡维度与限制
您很少能同时完美地优化保真度、实用性和隐私性。著名的保真度-实用性-隐私权衡（在第1章中已阐述）要求根据应用确定衡量标准的优先级。
- 定义优先级： 明确说明在您的特定用例中，保真度、实用性或隐私性是主要考虑、次要考虑等。
- 设定阈值： 确定次要维度的可接受最低水平。例如，如果实用性是主要目标，则定义一个可接受的最低隐私水平（例如，MIA成功率低于某个阈值）或最低保真度分数。
- 资源限制： 考虑计算不同衡量标准所需的计算成本和时间。某些衡量标准，如FID或对大型模型的广泛TSTR评估，可能需要大量资源。选择能在您可用预算（时间、计算资源）内提供充足判断依据的衡量标准。
一个决策框架示例
我们可以通过一个简化的决策流程来选择衡量标准类别：
一个决策流程图，展示了如何根据目标选择主要衡量标准类别，然后根据数据类型和限制进行调整。
该框架强调了从“为何”（即目标）开始，再根据“是什么”（即数据类型）进行细化，最后结合实际考量进行调整的必要性。衡量标准的选取并非一劳永逸的方法。它需要仔细考量具体情况，以确保评估能提供关于合成数据质量和适用性的相关且有用的信息。您在后续章节中构建的报告将建立在此处所进行的周密选择过程之上。
