ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价
ApX 标志ApX 标志

趋近智

大模型显存计算器硬件课程定价

所有课程

数据工程导论
章节 1: 什么是数据工程?
数据工程的定义
数据工程师的职责
数据工程 vs 数据科学 vs 数据分析
数据生命周期
常见数据工程任务
数据工程对人工智能的重要性
第 1 章测验
章节 2: 基础知识
认识数据类型
数据来源与采集方法
数据库简介
数据仓库解析
数据湖解析
数据获取的API简介
动手实践:识别数据类型
第 2 章测验
章节 3: 搭建你的第一个数据管道
数据管道是什么?
ETL 过程说明
ELT流程解析
数据提取方法
基本数据转换操作
将数据加载到存储中
简单管道编排原理
实践:勾勒基础数据管道
第 3 章测验
章节 4: 数据存储基本原理
选择合适的数据存储
操作关系型数据库 (SQL 基础)
NoSQL 数据库简介
理解文件存储系统
对象存储基础知识
常见数据格式
实践:设置一个简单的数据库表
第 4 章测验
章节 5: 数据处理入门
批处理说明
流式处理介绍
处理框架概述
理解计算资源
数据清洗入门
数据验证方法
实践:简单数据清洗脚本
第 5 章测验
章节 6: 数据工程师必备工具
SQL数据操作入门
代码版本控制与 Git
命令行界面 (CLI) 基本操作
云平台概览
工作流调度器简介
实践:Git 基本命令
第 6 章测验
章节 7: 数据工程的下一步
可进一步学习的方面
构建作品集项目构思
贡献开源
跟进新工具
课程要点回顾
第 7 章测验

数据工程对人工智能的重要性

人工智能(AI)和机器学习 (machine learning)(ML)系统从数据中学习。数据的质量、可访问性和结构直接决定了这些系统的表现。可以把它想象成建造房屋:你需要坚固、准备好的材料来搭建牢固的结构。数据工程为AI提供了这些必需的材料。没有有效的数据工程,AI项目通常会遇到困难或完全失败。

你可能在计算中听过“垃圾进,垃圾出”(GIGO)这句话。这对AI来说尤其如此。如果AI模型使用不准确、不完整或格式不佳的数据进行训练,它的预测和决策会反映出这些缺点。数据工程直接处理这个基本难题。

以下是数据工程活动如何直接支持人工智能开发:

  1. 数据收集与引入: AI模型通常需要来自不同来源(数据库、日志、传感器、API等)的海量数据。数据工程师构建系统以可靠地收集这些原始数据。没有这第一步,AI将无法学习。
  2. 数据清洗与准备: 原始数据很少能直接使用。它可能包含错误、缺失值、不一致或不相关的信息。数据工程师清洗和预处理这些数据,确保其准确和一致。这个清洗步骤很重要,因为它直接影响AI模型的可靠性。
  3. 数据转换与特征工程: AI模型需要特定格式的数据。数据工程师转换数据,可能通过改变其结构、组合不同数据源,或从现有数据中创建新的特征(输入变量),以帮助模型更有效地学习。这种准备使得数据对算法而言易于理解和有用。
  4. 构建数据管道: AI模型需要持续提供新的、干净的数据,无论是用于初始训练还是后续运行(推理 (inference))。数据工程师设计、构建和维护自动化数据管道(如稍后讨论的ETL/ELT过程),以确保数据从源系统到AI应用流畅可靠地流动。
  5. 数据存储与访问: 准备好的数据需要高效存储,以便AI模型能够快速访问它进行训练和预测。数据工程师选择和管理适合的存储方案(如数据仓库或数据湖),以适应AI系统所需的规模和访问模式。

请看以下关系图示:

数据从源头流经数据工程管道,以供AI/ML模型使用。

可伸缩性是另一个重要的考量。AI应用,特别是深度学习 (deep learning)模型,通常需要庞大的数据集。数据工程实践和工具旨在处理大规模数据,确保即使数据量增加,系统也能保持良好性能。

实质上,数据工程构建并维护AI所依赖的数据基础设施。它确保为AI提供的数据是可信、可访问且符合其目的的。数据科学家侧重于构建模型和提取洞察,而数据工程师则确保基础数据工作正确完成,从而使成功的AI应用成为可能。没有可靠的数据工程,即使是最复杂的AI算法也无法发挥其全部作用。

  • Fundamentals of Data Engineering: Planning and Building Robust Data Systems, Joe Reis, Matt Housley, 2022 (O'Reilly Media) - 提供数据工程原则的全面概述,涵盖数据管道、存储和为分析及人工智能应用做准备。
  • Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications, Chip Huyen, 2022 (O'Reilly Media) - 探讨构建和部署机器学习模型的系统级方面,重点关注数据基础设施、特征工程和MLOps实践。
  • Hidden Technical Debt in Machine Learning Systems, D. Sculley, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-François Crespo, Dan Dennison, 2015 Advances in Neural Information Processing Systems (NIPS 2015), Vol. 28 (Neural Information Processing Systems Foundation, Inc. (NeurIPS)) - 一篇基础论文,强调了构建和维护生产级机器学习系统所面临的挑战和成本,尤其侧重于数据依赖性以及对可靠数据管理的需求。

© 2026 ApX Machine Learning