有效地呈现评估结果

在计算了保真度、实用性和隐私等各方面的一系列指标后，原始数据可能令人难以理解。一个满是分数的表格可能包含所有信息，但它很少能以易于理解的方式呈现全貌。有效的可视化将这些数值结果转化为清晰、易于解读的见解，从而更容易理解合成数据的优点和不足，并将这些发现传达给相关方。目标不仅是呈现数据，更是指导解读并支持关于合成数据是否符合预期用途的明智决策。

选择合适的视觉呈现方式

第一步是为你想说明的特定指标或比较选择适当的图表类型。不同的可视化方式擅长突出数据的不同侧面。

• 分布： 直方图、密度图（核密度估计 - KDE）和分位数-分位数 (Q-Q) 图是比较真实数据集和合成数据集之间单个特征分布的常用选择。将合成分布叠加到真实分布上时，需要谨慎使用透明度或不同的颜色方案。
• 比较： 条形图在比较不同数据集或模型（例如，真实与合成）的单值指标（如平均性能分数或隐私攻击准确性）时很有效。分组或堆叠条形图可以同时展示多个相关指标。
• 关系： 散点图对于显示两个连续变量之间的关系很有用。热力图非常适合矩阵的可视化，例如相关矩阵或混淆矩阵。
• 多维数据： 雷达图（蜘蛛图）可以紧凑地概览一个或多个数据集的多个指标，但它们容易变得杂乱。像 PCA 或 t-SNE 等降维技术，随后结合散点图，可以帮助可视化高维结构相似性，但由于它们可能扭曲距离，所以需要仔细解读。
• 性能曲线： 折线图是绘制性能权衡的常用方式，例如成员推断攻击的 ROC 曲线（真阳性率 vs. 假阳性率）或精确度-召回率曲线。

可视化统计保真度

比较分布是保真度评估的根本。虽然单变量比较直接，但可视化多变量关系需要更多关注。

单变量分布

并排或叠加的直方图/密度图能够立刻显示单个特征在形状、中心和离散度上的差异。

叠加密度直方图，比较真实数据集和合成数据集中‘年龄’特征的分布。

相关结构

热力图提供了一种直观的方式来比较相关矩阵。将真实数据的热力图放在合成数据的热力图旁边，使用相同的颜色刻度。模式差异能够立刻突出合成数据未能捕获依赖关系的地方。

并排热力图，可视化真实数据和合成数据的相关矩阵。一致的颜色刻度允许直接比较依赖结构。

可视化机器学习 (machine learning)实用性

机器学习实用性指标通常涉及比较在不同数据源上训练的模型性能。

下游任务性能

条形图在比较使用不同训练方案（TSTR、TRTR、TRTS）获得的性能指标（KPI），如准确率、F1分数或 AUC 时很有效。表示置信区间或多次运行的标准差的误差棒增加了统计背景。

比较两种不同模型在训练-真实/测试-真实（基线）、训练-合成/测试-真实（TSTR 实用性）和训练-真实/测试-合成（TRTS 保真度）场景下的 AUC 分数。

特征重要性

比较特征重要性排名有助于评估在合成数据上训练的模型是否学习到与真实数据上训练的模型相似的模式。并排水平条形图可以有效地呈现这种比较。

并排水平条形图，比较在合成数据与真实数据上训练的模型所得的特征重要性分数。

可视化隐私风险

隐私评估通常涉及从攻击模拟中得出的指标。

成员推断攻击 (MIA)

MIA 分类器的性能通常使用 ROC 曲线或精确度-召回率曲线来呈现。曲线下面积 (AUC) 提供了一个单一的汇总统计量，通常使用条形图与 0.5 的基线（随机猜测）进行比较。

ROC 曲线展示了成员推断攻击分类器在真阳性率和假阳性率之间的权衡。对角虚线表示随机猜测。

基于距离的指标

最近记录距离 (DCR) 等指标可以使用直方图或密度图进行可视化，比较真实记录与合成记录到训练数据中最近邻的最小距离分布。合成记录的距离更小可能表明潜在的隐私泄露。

综合视图和仪表板

通常，单一可视化不足够。将多个图表组合成一个连贯的报告或仪表板可以提供全面的视图。

雷达图

对于比较多个合成数据集或生成方法在多个标准化指标（例如，保真度分数、实用性分数、隐私分数）上的表现，雷达图提供了一种紧凑的视觉摘要。但是，要确保坐标轴清晰标注，并避免绘制过多的数据集或指标，这可能会使图表难以阅读。

雷达图比较了两种合成数据生成模型（模型 A 和模型 B）在五个标准化质量指标上的表现。面积越大通常表示在这些轴上性能越好。

最佳实践和避免误读

• 简洁与清晰： 避免图表垃圾。确保坐标轴有标签，标题信息量大，图例清晰。有目的地使用颜色来区分类别或突出发现，并使用一致的调色板。
• 适当的比例： 使用准确反映数据的比例。避免截断坐标轴（特别是从非零基线开始的条形图），除非有明确的理由和标注，因为这会夸大差异。对于跨越多个数量级的数据，对数刻度可能更合适。
• 上下文 (context)很重要： 始终将可视化与其数值指标和解读一起呈现。解释可视化显示了什么以及可以得出什么结论。
• 降维注意事项： 尽管 PCA 和 t-SNE 图对于高维数据可能视觉上吸引人，但请记住它们是投影。2D 图中的距离和聚类形状可能无法完全反映高维真实情况。谨慎使用它们以获得直观感受，而不是作为相似性或差异的确定性证明。
• 受众意识： 根据您的受众调整可视化的复杂性和类型。相关方可能更喜欢高级摘要（如雷达图或主要 KPI 的条形图），而技术团队可能需要详细的分布图或性能曲线。

通过认真选择、设计和呈现可视化，您可以将复杂的评估结果转化为有说服力的证据，有效地传达合成数据的质量和适用性。