在我们对数据提取的讨论中，我们已经看到了完全提取如何复制所有数据，以及基础增量提取如何根据时间戳或标记 (token)等简单条件复制数据。尽管这些方法可行，但对于大型、频繁变动的数据集而言，它们可能效率低下。想象一下，你需要扫描数百万条记录，只为找出自昨天以来变化的几千条。此外，简单的增量方法通常难以准确检测已删除的记录。
数据变化捕获（Change Data Capture，简称CDC）是一种用于识别和捕获源数据自上次提取以来发生的更改、插入、更新和删除的技术。CDC代表了一套更精巧的方法，它不比较整个数据集，也不仅仅依赖时间戳列，而是直接关注变化事件本身。
为什么使用数据变化捕获？
CDC比简单的提取方法具有显著的优势，特别是在动态环境中：
- 效率： 通过仅处理实际变化的数据，CDC大幅减少了需要提取、传输和处理的数据量。这节省了源系统和目标系统的计算资源，减少了网络流量，并加快了整个ETL流程。
- 及时性： 由于CDC关注单个变化事件，因此它能够更接近变化实际在源系统中发生的时间点捕获修改。这实现了准实时数据同步，使下游系统和数据分析能够比周期性批处理更新更快地反映最新数据状态。
- 准确性： CDC机制通常更擅长捕获所有类型的变化，包括删除。简单的基于时间戳的增量加载常常完全遗漏删除，导致源系统和目标系统之间的数据不一致。CDC提供更完整、准确的修改历史。
CDC如何工作？概览
尽管具体的实现细节可能因源系统和所用工具而异，但CDC通常通过以下主要方法之一工作：
- 基于时间戳： 这是最简单的形式，通常与基础增量加载重叠。它依赖源表中记录行最后修改时间的列（例如，
last_updated_at）。你的提取过程查询时间戳晚于上次提取时间的行。
- 限制： 要求这些列存在并由源应用程序可靠地更新。除非也使用并维护“已删除”标记 (token)或状态列，否则本身无法捕获删除。
- 基于触发器： 可以在源表上创建数据库触发器（数据库响应数据修改事件（如INSERT、UPDATE、DELETE）时自动执行的小段代码）。这些触发器将有关更改的详细信息（什么被更改、新旧值是什么）写入单独的“更改表”。ETL过程然后从这些更改表中提取数据。
- 限制： 触发器会增加源数据库事务的开销，可能影响应用程序性能。它们也需要仔细管理。
- 基于日志： 许多数据库维护事务日志（也称为重做日志或预写日志），用于恢复和复制。这些日志记录了提交到数据库的每一笔事务。基于日志的CDC涉及读取这些数据库日志（通常使用专用工具或数据库功能）以直接捕获变化事件。
- 优势： 这是对源数据库影响最小且最有效的方法，因为它读取数据库已生成的信息。它无需更改模式或添加触发器，即可可靠地捕获插入、更新和删除。
无论哪种方法，CDC的结果通常是变化记录流或批次，每条记录都指出变化类型（插入、更新、删除）、受影响的数据（例如，插入/更新的新行值，删除的主键），以及可能的变化时间等元数据。
数据变化捕获（CDC）与批处理增量加载对比
传统批处理增量加载与CDC的主要区别在于粒度和时效性。批处理增量通常定期运行（例如，每小时或每天），根据时间戳或标记 (token)提取自上次运行以来所有修改过的记录，并一起加载。CDC旨在更接近变化发生的时间点捕获单个变化事件，并通常将其流式传输到目标系统，或以更小、更频繁的微批次处理。
批处理增量提取与数据变化捕获工作流程对比。批处理流程周期性处理累积的变化，而CDC更快速地捕获和处理单个变化。
数据变化捕获的重要考量
尽管功能强大，实施CDC需要考虑一些事项：
- 复杂性： 设置CDC，特别是基于日志的CDC，可能比简单的批处理查询更复杂。它通常需要特定的权限、源数据库配置以及可能需要专用软件。
- 源系统兼容性： 基于日志的CDC严重依赖于具体的数据库系统（例如，PostgreSQL、MySQL、SQL Server、Oracle）及其版本。可用性和易用性各不相同。基于触发器的CDC适用范围更广但有性能影响。从非数据库源（如文件或API）进行CDC通常需要不同的、定制的方案。
- 工具支持： 许多现代ETL/ELT平台和专用复制工具为常见数据库提供内置的CDC连接器，大幅简化了实施。
总之，数据变化捕获提供了一种高效及时的方法，用于从源系统提取数据修改。通过仅关注已更改的内容，包括删除，它克服了完全提取和基础增量加载的许多限制，使其成为保持下游系统同步、最大限度减少延迟和资源使用的宝贵技术。了解CDC的核心原理非常重要，尤其是在遇到更复杂的数据管道需求时。
