生成模型，如GANs和扩散模型，提供了强大的工具，不仅用于生成新颖内容，也可应对数据可得性和敏感性方面的实际问题。两个重要用途被考察：使用合成数据扩充现有数据集，以及思考其在生成敏感信息隐私保护替代方案方面的潜力。
运用合成数据进行扩充
传统数据扩充技术，例如旋转、翻转或噪声注入，修改现有数据点。尽管有用，它们不产生本质上新的实例来体现底层数据分布。然而，生成模型学习此分布，并能合成全新、高保真的样本。
为何采用生成式扩充？
- 应对数据稀缺： 当数据收集昂贵、耗时或困难时，生成模型可合成额外的训练实例，有可能提升下游机器学习 (machine learning)模型的鲁棒性和泛化能力。
- 处理类别不平衡： 在分类任务中，某些类别可能实例远少于其他类别。条件生成模型（第2章和第4章有讨论）可以专门训练或引导，以生成这些代表性不足类别的更多样本，有助于平衡数据集。
- 生成多样化情境： 模型能生成变体，有可能涵盖边缘情况或情境，这些情境在原始有限数据集中未有。
- 域适应： 像CycleGAN（第2章）这样的技术允许非配对图像到图像的转换。这可视为一种扩充形式，其中一个域的数据（例如，合成渲染图）被转换，以更好地匹配另一个域的风格（例如，真实照片），使在源域上训练的模型在目标域上更有效。
实现策略
- 无条件生成： 在可用数据集上训练GAN或扩散模型，并生成新样本加入训练集。
- 有条件生成： 使用类别标签或其他属性指导生成过程，专门针对扩充最需要的区域（例如，稀有类别）。扩散模型中的无分类器引导在此处特别有效。
- 混合真实与合成数据： 确定真实数据与合成数据的最佳比例。添加过多合成数据，特别是如果质量较低，可能不总能提升性能。通常需要进行实验。
- 质量控制： 严格评估生成数据的质量，使用第5章讨论的指标（例如，FID、精确率、召回率）。低保真或非多样化的合成样本不太可能有益，甚至可能损害性能。确保生成数据与真实数据分布良好吻合。
考量
尽管功能强大，生成式扩充需谨慎使用。原始训练数据中存在的偏见很可能被生成模型学习并放大。如果原始数据对某些群体代表性不足，合成数据很可能也会如此，除非在训练或生成过程中采用特定的缓解技术。务必评估偏见放大的可能性。
合成数据与隐私保护
共享或分析敏感数据集（例如，医疗记录、金融交易）构成显著的隐私风险。合成数据生成提供了一种潜在途径，来创建捕获原始数据统计属性的数据集，而不泄露关于特定个体的信息。
基本构想
核心构想涉及在私有数据集上训练生成模型（GAN或扩散模型）。与其共享原始数据，不如共享：
- 训练好的生成模型本身。
- 由训练好的模型生成的合成数据集。
希望是合成数据保留了足够的统计信息，以用于下游任务（如训练机器学习 (machine learning)模型或进行统计分析），同时保护原始数据集中个体的隐私。
旨在保护隐私的合成数据生成工作流程。
挑战与差分隐私
标准GANs和扩散模型，尽管是出色的生成器，无法自动提供强大的隐私保障。模型，特别是大型模型，可能记住其训练数据的一部分。攻击者可能能够通过检查生成的样本或模型本身（例如，使用成员推断攻击，其试图判断特定数据点是否为训练集的一部分）推断出关于原始私有数据集的信息。
为提供数学上严谨的隐私保障，生成模型常与**差分隐私（DP）**结合使用。DP是一种框架，通过在模型训练过程中添加经过精心校准的噪声，提供强大的、可量化 (quantization)的隐私保护。
- DP机制： 差分隐私随机梯度下降 (gradient descent)（DP-SGD）等技术修改训练算法（例如，通过裁剪梯度范数和向梯度添加高斯噪声），以限制任何单个训练实例对最终模型参数 (parameter)的影响。
- 隐私预算（ϵ）： DP保障通常通过隐私预算来量化，记为ϵ（epsilon）。较小的ϵ值意味着更强的隐私保护，但通常以降低数据效用为代价（即，合成数据可能准确性较低，或在其上训练的模型性能较差）。这体现了基本的隐私-效用权衡。
典型的权衡曲线表明，更强的隐私保护（较低的ϵ）通常会导致合成数据效用降低。
实现DP-GANs或DP-扩散模型涉及将这些噪声注入和梯度裁剪机制整合到训练循环中（第3章和第4章）。这通常需要仔细调整噪声水平、裁剪阈值和其他超参数 (hyperparameter)，以有效平衡隐私和效用。
评估隐私
评估合成数据集提供的实际隐私是具有挑战性的。常见方法包括：
- 成员推断攻击（MIAs）： 训练分类器以区分用于训练生成器的数据点和未用于训练的数据点。低MIA准确率表明更好的隐私。
- 属性推断攻击： 尝试预测训练记录的敏感属性，假定合成数据中的其他属性。
- 距离度量： 比较分布，但侧重于潜在的异常值泄露。
没有单一指标能完美衡量隐私，评估通常涉及结合经验性攻击和基于DP保障（如适用）的分析。
局限性
生成高效用的合成数据且具有强大的隐私保障，这仍是活跃的研究方向。
- 实现可接受的效用，特别是对复杂、高维数据而言，在严格的隐私约束（低ϵ）下可能很困难。
- DP机制有时会降低生成样本的质量和多样性，与非隐私保护对应物相比。
- 在保障隐私的同时确保公平性增加了额外的复杂性，因为DP噪声可能不成比例地影响少数群体。
尽管存在这些挑战，考虑隐私而生成的合成数据提供了一个有前途的方向，以便进行数据分析，同时降低处理敏感信息相关的风险。谨慎实施、严谨评估效用和隐私，以及对固有权衡的清晰认识，对于其负责任的应用是必需的。
