合成数据训练-真实数据测试 (TSTR) 方法

评估合成数据的实际价值，在于考察其训练有效机器学习 (machine learning)模型的能力。合成数据训练-真实数据测试 (TSTR) 方法为这种评估提供了一个标准框架。它直接回答了这个问题：“如果一个模型只使用合成数据进行训练，它在实际、未见过的真实数据上的表现如何？”

TSTR 的核心思想是模拟一种常见场景，即合成数据可能替代或补充真实数据用于模型开发，最终检验学到的模式是否能泛化到原始数据分布。

TSTR 工作流程

实施 TSTR 涉及使用原始真实数据集 ( $R$ ) 和生成的合成数据集 ( $S$ ) 的一系列明确步骤。

数据划分： 首先，将您现有的真实数据集 $R$ 划分成两个不同的集合：
- 训练集 ( $R_{train}$ )
- 保留测试集 ( $R_{test}$ ) 这项划分非常根本。 $R_{train}$ 作为生成合成数据的依据（或作为基准模型的训练集），而 $R_{test}$ 则被专门保留用于评估最终模型。在合成数据生成或TSTR路径中的模型训练期间，不得使用它。
合成数据生成： 使用真实训练集 ( $R_{train}$ ) 作为输入，传入您选定的生成模型（例如 GAN、VAE、扩散模型）来生成合成数据集 $S$ 。S 的质量是我们最终希望通过 TSTR 评估的目标。
在合成数据上训练： 选择一个适合您下游任务的机器学习 (machine learning)模型（例如逻辑回归、随机森林、神经网络 (neural network)）。只使用合成数据集 $S$ 作为训练数据来训练这个模型，我们称之为 $M_S$ 。
在真实数据上测试： 在保留的真实测试集 $R_{test}$ 上评估训练好的模型 $M_S$ 的表现。使用与您的任务相关的标准性能指标（例如，分类任务的准确率、F1-分数、AUC；回归任务的 MAE、RMSE）。这得到 TSTR 性能得分。
设定基准（可选但推荐）： 为了理解 TSTR 的性能，使用真实训练数据 $R_{train}$ 训练一个相同的机器学习模型架构 $M_R$ 。在相同的真实测试集 $R_{test}$ 上评估 $M_R$ 。这提供了一个基准，代表了在理想条件下（在所选模型和数据划分的限制内）使用原始数据可达到的性能。

下图说明了此流程：

合成数据训练-真实数据测试 (TSTR) 评估的数据流以及基准真实数据训练路径。性能比较提供了实用性评估。

解读 TSTR 结果

TSTR 过程的主要输出是通过在 $R_{test}$ 上评估 $M_S$ 获得的性能指标（例如，准确率 0.85，F1-分数 0.78）。为了理解这个数值，请将其直接与 $M_R$ 在 $R_{test}$ 上获得的基准性能进行比较。

TSTR 性能高（接近基准）： 如果 $M_S$ 在 $R_{test}$ 上的性能与 $M_R$ 在 $R_{test}$ 上的性能接近，这表示机器学习 (machine learning)实用性高。合成数据成功捕捉到下游模型泛化到未见过真实数据所需的主要模式和关系。这表明合成数据对于该特定建模任务来说是真实数据一个潜在的可行替代品。
TSTR 性能低（远离基准）： $M_S$ 性能与 $M_R$ 性能之间存在明显差距表示实用性较低。合成数据可能缺乏足够的保真度，未能表示复杂关联，或引入了误导模型训练过程的伪影，阻碍了其泛化能力。
性能差距： 量化 (quantization)差异，通常表示为百分比下降： $\text{性能下降} = \frac{\text{Perf}(M_R, R_{test}) - \text{Perf}(M_S, R_{test})}{\text{Perf}(M_R, R_{test})} \times 100\%$ 下降越小表示实用性越好。这种下降的可接受阈值很大程度上取决于具体的应用需求。

考虑一个分类任务：

模型在真实测试集上的准确率比较，分别在真实数据和合成数据上训练。这种差异突出了 TSTR 衡量的实用性差距。

在此示例中，在合成数据上训练的模型在真实测试集上达到 0.85 的准确率，而真实数据训练的模型为 0.92。这表示性能下降了约 7.6%。这是否可接受取决于问题的具体情况。

有效 TSTR 评估的考量

下游任务关联性： 机器学习 (machine learning)模型（ $M_S$ / $M_R$ ）的选择和评估指标应与合成数据的预期用途一致。对分类任务的实用性评估可能与使用相同合成数据对回归任务的评估得出不同的结论。
测试集完整性： 确保真实测试集 $R_{test}$ 真正被保留，并且能代表模型在实际应用中会遇到的数据。任何从 $R_{test}$ 泄露到生成或训练过程中的情况都会使结果失效。
模型复杂度： 模型架构的选择本身会影响结果。一个非常简单的模型可能会显示相似的性能，仅仅因为它无法捕捉仅存在于真实数据中的复杂模式。反之，一个非常复杂的模型可能会对合成数据中的伪影过拟合 (overfitting)。通常有益于用几种不同的标准模型进行测试。
随机性： 合成数据生成和模型训练都可能涉及随机性。多次运行 TSTR 评估（如果可行，使用不同的随机种子或数据划分），并报告平均性能和方差，以获得更可靠的估计。

TSTR 提供了一种直接、面向应用的合成数据实用性衡量方式。虽然统计保真度指标（在第2章讨论）评估了分布相似性，TSTR 则专门量化 (quantization)了这种相似性是否转化为训练预测模型的实际用途。它是用于验证机器学习应用中使用的合成数据的一个不可或缺的工具。

这部分内容有帮助吗？

参考文献

Synthetic datasets for statistical disclosure control: Theory and implementation, Jörg Drechsler, 2011 Vol. Lecture Notes in Statistics 201 (Springer-Verlag New York Inc.) DOI: 10.1007/978-1-4419-7419-1 - 一本关于隐私保护合成数据的著作，包含评估数据用于分析任务的方法。
Evaluating the quality of synthetic data generated by deep learning models: a comprehensive survey, Damien Biau, Romain Tavenard, Rémi Flamary, 2023 Artificial Intelligence Review, Vol. 56 (Springer US) DOI: 10.1007/s10462-023-10515-w - 一项近期调查，涵盖合成数据质量评估的多个方面，包括TSTR等实用性指标。
Measuring data utility for privacy-preserving synthetic data, Yang Zhao, Weijie Sun, Ji-Won Kim, Jiexin Yu, Liqiang Wang, 2022 Journal of Biomedical Informatics, Vol. 133 (Elsevier) DOI: 10.1016/j.jbi.2022.104164 - 本文介绍了评估合成数据分析价值的方法，尤其是在隐私保护背景下。
Modeling Tabular Data using Conditional GANs, Lei Xu, Kalyan Veeramachaneni, 2019 Advances in Neural Information Processing Systems, Vol. 32 (Neural Information Processing Systems Foundation, Inc.) DOI: 10.55919/neurips-2019-1412 - 介绍了CTGAN，并通过机器学习任务展示了合成数据质量的评估，这与TSTR方法一致。