简单管道编排原理

你已经了解了数据管道的组成部分：提取数据、转换数据，并将其加载到有用之处。但是，构建管道只是工作的一部分。你实际如何运行它？如果某个步骤失败了会怎样？如果某个步骤依赖于另一个步骤先完成会怎样？这就是管道编排派上用场的地方。

可以把数据管道看作一个多步骤的食谱。你不会随意开始混合食材；你会按顺序执行步骤。编排就是管理数据管道各步骤执行的过程，确保它们以正确的顺序、在正确的时间正常运行。

为何管理管道执行？

数据管道很少只运行一次。通常，你需要它们重复运行：

• 也许你需要每小时获取新的销售数据。
• 也许你需要每晚处理网站日志。
• 或者当有新的数据文件上传时，管道应自动开始运行。

每次手动触发这些管道会很繁琐且容易出错。编排使此过程自动化，让你的数据工作流程可靠且高效。

管道编排的核心思路

在基本层面上，编排管道包含几个主要思路：

1. 调度： 决定管道何时运行。常见的调度方法包括：

   • 基于时间： 在特定时间间隔运行管道（例如，每小时、每天午夜、每周日）。这有助于定期更新数据。
   • 基于事件： 响应特定事件触发管道（例如，新文件出现在存储位置、消息到达队列、另一个管道成功完成）。这使得数据处理更具动态性。

2. 依赖关系： 管理管道内任务必须运行的顺序。许多管道中的任务依赖于之前任务的成功完成。例如，你无法转换尚未提取的数据，也无法加载尚未转换的数据。编排工具管理这些依赖关系，确保任务 B 只有在任务 A 成功完成后才开始。

让我们来看一个简单的依赖关系图：

一个简单的管道，显示任务按顺序执行。'转换数据' 依赖于 '提取数据'，'加载数据' 依赖于 '转换数据'，而 '生成报告' 依赖于 '加载数据'。

3. 监控： 跟踪管道运行。了解管道是否成功运行、是否失败、耗时多久，并可能收集其执行的其他指标，这些都很重要。监控有助于快速发现问题。

4. 告警： 当出现问题时（例如管道失败或任务耗时远超预期），通知相关人员（例如数据工程团队）。这以便及时干预。

5. 错误处理： 定义管道内任务失败时应采取的措施。选项可能包括：

   • 重试： 自动再次尝试运行失败的任务，可能在短暂停留后。
   • 停止： 如果特定任务失败，则停止整个管道运行。
   • 跳过： 跳过失败的任务，并尝试继续执行后续的独立任务（请谨慎使用！）。
   • 通知： 发送有关失败的告警。

整合应用

假设我们的简单 ETL 管道需要每晚运行。一个编排系统会：

• 调度： 例如，每天凌晨 2:00 触发“提取”任务。
• 管理依赖关系： 确保“转换”仅在“提取”成功完成后才开始。如果“提取”失败，“转换”将不会运行。同理，“加载”等待“转换”完成。
• 监控： 记录每个任务和整个管道运行的开始时间、结束时间以及成功/失败状态。
• 处理错误： 如果“转换”任务失败，可以尝试重试两次。如果仍失败，则停止管道并发送告警。

尽管你可以手动管理非常简单的管道，或使用基本的系统工具（例如 Linux/macOS 上的 cron 进行调度），但专业的工作流管理工具（你将在后面详细了解）通常用于处理更复杂数据管道的调度、依赖关系、监控和错误处理的复杂性。

当你稍后在本章中练习设计第一个数据管道时，不仅仅要思考步骤（提取、转换、加载），还要思考这些步骤如何和何时运行，以及如果出现问题应如何处理。这就是管道编排的核心所在。