数据工程的定义

数据工程是指设计、构建和维护系统及基础设施的实践，这些系统和基础设施使组织能够收集、存储、处理和分析大量数据集。它构成了任何数据驱动运营的支柱，确保数据可用、可靠，并为分析师、数据科学家以及机器学习 (machine learning)模型等应用程序的使用做好准备。

想想当今从网站、移动应用、传感器和业务交易中生成的海量数据。这些原始数据通常以不同格式、不同速度到达，并存在于多个地方。它们常常杂乱、不完整，或难以直接使用。数据工程直接应对这些难题。

主要目的是将原始、通常混乱的数据转化为干净、结构化且易于获取的信息。这包括几项重要活动：

• 构建数据管道： 创建自动化工作流，将数据从其源系统（例如数据库、API 或日志文件）移动到目标存储系统（例如数据仓库或数据湖）。这些管道通常包括数据清洗、转换和验证的步骤。
• 管理数据存储： 选择、实施和管理适当的存储方案。这可能包括从用于结构化数据的传统关系数据库到能够保存海量原始非结构化信息的数据湖。
• 确保数据质量： 实施流程和检查以保持数据的准确性、一致性和完整性。不良数据质量会导致不可靠的分析和有缺陷的模型。
• 优化性能： 设计能够高效处理大数据量的系统，确保及时访问和处理。

考虑一个简单类比：如果数据是新的石油，那么数据工程师则负责构建炼油厂、管道和储油罐。他们不一定进行最终分析（就像地质学家或化学家处理石油那样），但他们创建了使分析成为可能且高效的基础设施。

此图显示数据如何从源系统通过数据工程管理下的管道和基础设施，最终成为供最终用户和应用程序使用的准备好数据。

本质上，数据工程提供了从数据中获取洞察所需的稳定支撑。它确保正确的数据在正确的位置、正确的时间以正确的格式可用，以支持商业智能、数据分析和人工智能应用的开发。没有高效的数据工程，这些下游领域的工作常常受阻或无法进行。