比较不同合成数据集的性能

通常，目标不仅仅是单独评估一个合成数据集，而是对比多个备选数据集。你可能已经用相同的真实数据训练了多个生成模型（例如，GAN、VAE、扩散模型），或者可能使用相同的模型但不同的超参数设置生成了数据集。基准测试提供了一种条理清晰的方法，用以判断哪种合成数据集或哪种生成方式最符合特定应用的需求。基准测试为你的分析增加了一个比较层面，有助于形成全面的报告结构。

构建一致的评估体系

有效基准测试的基础是公平性。为了有意义地比较不同的合成数据集，你必须在完全相同的条件下进行评估。这意味着：

1. 一致的指标： 对所有备选数据集应用完全相同的保真度、实用性和隐私性指标。
2. 相同真实数据划分： 对所有评估，特别是像“训练-合成-测试-真实”（TSTR）这样的实用性任务，使用原始真实数据的相同训练集、测试集和验证集划分。
3. 标准化下游任务： 评估实用性时，在所有比较中，使用相同的机器学习模型、超参数设置（或相同的调优过程）和评估指标（例如，准确率、F1分数、AUC）。
4. 统一隐私攻击： 运行隐私评估（如成员推断攻击，MIAs）时，采用相同的配置和攻击者模型。

数据集之间评估设置的任何差异都可能引入偏差，使比较变得不可靠。前面讨论的自动化流程在此处变得尤为重要，它们能确保多次基准测试运行的一致性和可重现性。

多指标比较方法

比较数据集通常需要在多个可能相互冲突的维度（保真度、实用性、隐私性）之间平衡性能。一个数据集可能在统计保真度方面表现出色，但在下游任务上表现不佳；而另一个数据集可能提供更好的实用性，但代价是隐私风险略高。可视化和摘要方法对于理解这些权衡非常重要。

表格摘要

最简单的方法是将主要指标整理成表格，每行代表一个合成数据集，每列代表一个评估指标。这提供了一种直接的并列比较。

数据集	Kolmogorov-Smirnov (平均p值)	TSTR 准确率 (对比真实基准)	MIA AUC 分数	特征重要性关联	生成时间 (分钟)
GAN (默认 HPs)	0.65	92%	0.68	0.75	120
VAE (隐变量=32)	0.78	88%	0.59	0.82	45
GAN (调优 HPs)	0.82	95%	0.65	0.88	180
DP-GAN (Epsilon=1)	0.55	75%	0.52	0.60	210

权衡的可视化

可视化工具可以使复杂的比较更加直观。

• 雷达图： 它们能有效地同时展示多个指标的性能。每个轴代表一个指标（理想情况下应标准化到共同的范围，例如0到1），每个多边形代表一个数据集。这使得识别整体表现强劲或在特定方面表现出色的数据集变得容易。

雷达图，对三个合成数据集在五个标准化维度上的表现进行比较：统计保真度（Kolmogorov-Smirnov检验平均值）、相对于基准的TSTR准确率、隐私性（反转的MIA分数）、特征重要性关联，以及生成效率（与时间成反比）。分数标准化到0到1之间，分数越高表示表现越好。

• 帕累托前沿： 在有明显权衡（例如，实用性与隐私性）的情况下，在二维散点图上绘制数据集可以显示帕累托前沿。位于此前沿上的数据集表示优选方案，这意味着你无法在不恶化另一个指标的情况下改进一个指标。不在前沿上的数据集会被前沿上至少一个数据集“支配”。

排名与选择策略

一旦收集并可视化了指标，你需要一个策略来为你的目的选择“最佳”数据集。

加权评分

如果你能为特定应用量化不同评估维度的相对重要性，你可以为每个数据集计算一个加权综合分数。

1. 标准化指标： 将所有指标缩放到共同的范围（例如，0到1），确保较高的值始终表示更好的性能。对于值越低越好的指标（如MIA AUC或生成时间），请使用反向缩放（例如，$1 - \text{标准化值}$）。
2. 分配权重： 根据应用优先级为每个指标定义权重（$w_i$），使得 $\sum w_i = 1$。例如，一个高隐私要求的应用可能会给隐私指标分配较大的权重，而一个纯性能任务可能会非常看重TSTR实用性。
3. 计算分数： 将每个数据集 $D$ 的总分计算为 $分数(D) = \sum_{i} w_i \times \text{标准化指标}_i(D)$。

得分最高的数据集被认为是根据你设定的优先级选出的最佳数据集。请注意，此方法对所选权重很敏感，权重可能带有主观性。通过稍微调整权重进行敏感性分析通常很有用。

支配性分析

如果数据集 $A$ 在所有指标上表现至少与 $B$ 一样好，并且在至少一个指标上表现严格优于 $B$，则数据集 $A$ 支配数据集 $B$。识别被支配的数据集有助于消除明显较差的选项，而无需明确的权重。非支配数据集构成了前面提到的帕累托集合。

分层

除了单一的最佳选择外，你还可以根据重要指标的预设阈值，将数据集划分为不同的性能等级（例如，“优秀”、“良好”、“可接受”、“不适用”）。当多个数据集达到最低质量标准时，这种方法很有用，它允许根据生成成本等次要标准灵活选择。

考虑生成成本和复杂性

基准测试不应仅仅关注质量指标。实际的考量也同样重要：

• 生成时间： 生成合成数据需要多长时间？一个生成质量略低但速度快得多的模型可能在时间敏感的应用中更受欢迎。
• 计算资源： 训练生成器和合成数据所需的硬件要求（GPU、RAM）是什么？
• 易用性： 模型训练、调优和部署的复杂程度如何？

这些因素应纳入你的比较中，可以作为摘要表格中的额外列，或作为选择过程中的约束条件。

通过使用一致的框架和适当的比较方法，对不同合成数据集进行系统基准测试，你可以就哪种生成模型、参数或特定数据集最能满足你的需求做出明智的决定，从而平衡保真度、实用性、隐私性和实际限制之间复杂的关系。