为何生成人工数据？

“机器学习模型需要大量数据才能有效地学习规律。然而，获取合适种类和足够数量的数据并不总是那么容易。数据收集可能耗时、昂贵，有时甚至不切实际或根本不可能。正因如此，生成合成数据成为一种有价值的方法。接下来，我们看看创建人工数据为何通常是必要或有益的主要原因。”

应对数据稀缺

有时，您就是没有足够的数据。这在以下几种情况中很常见：

• 新问题范畴： 在研究一个全新领域时，可能没有历史数据。
• 稀有事件： 如果您试图预测不常发生的事件，如设备故障或特定类型的金融欺诈，可能只有很少的真实案例来训练模型。
• “冷启动”问题： 推出新产品或服务通常意味着最初没有用户数据。在真实用户互动积累之前，合成数据可以帮助训练推荐系统或个性化功能。

当获取足量或合适的数据具有挑战性时，生成合成数据成为一种有价值的技术，它能够创建初始数据集或补充少量现有数据，从而使训练模型成为可能。

提升数据隐私性

许多数据集包含有关个人的敏感信息，例如医疗记录、金融交易或私人通信。欧洲的 GDPR（通用数据保护条例）或美国的 HIPAA（健康保险可移植性和责任法案）等严格的隐私法规规定了这些数据的使用方式。

收集、存储和使用个人可识别信息（PII）伴随着重大风险和责任。合成数据提供了一种有吸引力的替代方案。它可以被设计成捕捉原始敏感数据集中存在的统计模式和关系，而不包含任何真实、独立的记录。这使得数据科学家和研究人员能够：

• 在不接触隐私信息的情况下开发和测试模型。
• 更自由地与合作者或公众分享数据观点。
• 降低数据泄露相关的风险。

设想训练一个模型来从眼部扫描中识别糖尿病视网膜病变。使用真实的患者扫描需要严格的隐私协议。一个合成数据集可以复制显示不同疾病阶段的扫描特征，从而在不暴露实际患者数据的情况下进行模型开发。

平衡不均衡的数据集

数据集常常不平衡。这意味着某些类别或结果比其他类别或结果更常见。请看以下例子：

• 欺诈识别： 大多数交易是合法的；欺诈性交易很少见。
• 医学诊断： 大多数接受检测的患者可能没有特定的罕见疾病。
• 制造质量控制： 大多数产品通过检验；缺陷品不常出现。

在高度不平衡的数据上训练机器学习模型会带来问题。模型可能因为多数类别（例如，“非欺诈”）非常常见而善于预测它，但在少数类别（例如，“欺诈”）上表现不佳，而这往往是您最关注的识别类别。

生成合成数据有助于纠正这种不平衡。您可以专门生成更多代表性不足的少数类别示例，为训练创建更平衡的数据集。这有助于模型更有效地学习与稀有事件相关的模式。

该图表显示了合成数据（橙色条代表“欺诈”）如何增加稀有类别的表示，从而与原始倾斜数据（蓝色条）相比，为模型训练带来更平衡的数据集。

减少成本和时间

“收集数据可能是一个主要瓶颈。请考虑以下方面所需的工作量：”

• 进行大规模调查。
• 设置传感器和记录设备。
• 手动标记图像或文本数据，这需要大量人力且可能成本高昂。
• 进行物理实验或模拟。

生成合成数据通常更快、更便宜。一旦生成过程建立，您就可以通过程序创建大量数据，与手动收集和标记相比，节省大量时间和资源。

模拟特定或罕见情况

“机器学习模型，尤其是在自动驾驶汽车或医疗诊断等重要系统中使用的模型，即使在异常情况下也需要可靠。然而，收集每种可能的极端情况或危险场景的数据通常是不切实际或不安全的。”

合成数据使您能够按需模拟这些特定情况。例如：

• 自动驾驶汽车的感知系统可以配合稀有道路障碍物或极端天气条件（如浓雾或大雪）的合成图像进行测试，这些情况在现实中难以频繁且安全地遇到。
• 医学诊断工具可以使用极其罕见疾病变体的合成样本进行训练。

这项能力对于通过在各种模拟环境下测试模型的行为来确保模型安全性和可靠性而言意义重大。

扩充现有数据

合成数据不总是必须替代真实数据。它也可以用于扩充真实数据。添加噪声、旋转图像或轻微修改现有数据点等方法是合成数据生成的简单形式，常用于图像识别任务。更高级的方法可以创建全新的数据点，为现有数据集增加多样性，从而可能提升模型的泛化能力。

“总而言之，生成人工数据的需求源于机器学习数据获取和使用方面的基本挑战。无论是由于稀缺性、隐私限制、不平衡、成本，还是模拟特定场景的需要，合成数据都提供了一套有用的技术，以帮助构建更好、更安全、更有效的机器学习模型。”