趋近智
评估合成数据质量：高级方法
章节 1: 合成数据评估的基本原理
定义数据质量的维度
评估生成数据的挑战
保真度、实用性与隐私的权衡
评估指标分类体系
建立评估环境
章节 2: 进阶统计保真度评估
多变量分布比较
分布相似性的假设检验
相关性和协方差结构分析
信息论度量
倾向得分评估
动手实践：实现多变量检验
章节 3: 评估机器学习效用
合成数据训练-真实数据测试 (TSTR) 方法
训练-真实-测试-合成 (TRTS) 方法
比较下游模型性能指标
评估特征重要性一致性
超参数优化带来的影响
动手实践：运行TSTR评估
章节 4: 隐私评估方法
了解合成数据中的隐私风险
成员推断攻击 (MIAs)
属性推断攻击
基于距离的隐私度量
差分隐私考量（如适用）
实践操作：实现一个基本的成员推断攻击
章节 5: 专用和模型特定评估指标
评估合成图像：FID、IS、精确率、召回率
评估合成文本：困惑度、BLEU分数
评估合成时间序列数据
生成对抗网络（GAN）评估指标
VAE评估指标
动手操作：图像数据FID计算
章节 6: 构建全面的评估报告
为任务选择合适的衡量标准
自动化评估管线
有效地呈现评估结果
解读与沟通评估结果
比较不同合成数据集的性能
实践：生成质量报告片段
成员推断攻击 (MIAs)
这部分内容有帮助吗？
- Membership Inference Attacks Against Machine Learning Models, Reza Shokri, Marco Stronati, Congzheng Song, Vitaly Shmatikov, 2017 2017 IEEE Symposium on Security and Privacy (SP) (IEEE) DOI: 10.1109/SP.2017.36 - 介绍成员推理攻击和影子模型技术的开创性论文。
- Membership Inference Attacks From First Principles, Nicholas Carlini, Chuan Guo, Sara Hayes, Jacob Steinhardt, Geoffrey Tucker, Milad Nasr, Adam Shmatikov, 2021 2021 IEEE Symposium on Security and Privacy (SP) (IEEE) DOI: 10.1109/SP40079.2021.00063 - 一篇较新的论文，提出了成员推理攻击的理论框架和更强的实践方法。