趋近智
构建规模化数据仓库
章节 1: MPP 架构与存储原理
大规模并行处理的基本原理
计算与存储分离
列式存储格式与压缩
微分区与元数据管理
实践：检查存储配置
章节 2: 大规模数据建模进阶
大数据中的维度建模限制
Data Vault 2.0 实施模式
处理半结构化数据
模式演变与版本管理
动手实践：设计数据保险库
章节 3: 高吞吐量数据摄取管道
变更数据捕获架构
数据管道中的幂等性
微批处理与流式摄取
处理延迟到达的数据
实践操作：构建CDC管道
章节 4: 查询优化与性能调优
分析查询执行计划
分区剪枝与聚簇键
连接策略：广播连接与洗牌连接
物化视图与缓存层
动手实践：优化高延迟查询
章节 5: 治理、安全与可观测性
基于角色的访问控制层级结构
动态数据屏蔽与令牌化
行级安全实现
资源监控与成本管控
动手实践：配置安全策略
微批处理与流式摄取
这部分内容有帮助吗？
- Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, Martin Kleppmann, 2017 (O'Reilly Media) - 介绍批处理和流处理、分布式系统、一致性模型和数据存储的核心概念，为理解数据摄取挑战提供了全面背景。
- C-Store: A Column-Oriented DBMS, Michael Stonebraker, Daniel J. Abadi, Adam Batkin, Xuedong Chen, Mitch Cherniack, Miguel Ferreira, Edmond Lau, Amerson Lin, Samuel Madden, Elizabeth J. O'Neil, Patrick E. O'Neil, Alexander Rasin, Nga Tran, Stanley B. Zdonik, 2005 Proceedings of the 31st International Conference on Very Large Data Bases (VLDB) (ACM) DOI: 10.14778/1083592.1083658 - 介绍了列式数据库管理系统的设计原则，这些系统是现代分析数据仓库的基础，并解释了其针对读密集型工作负载的优化以及对写入操作的影响。
- Snowpipe Streaming API, Snowflake, 2024 (Snowflake) - 提供了领先的云数据仓库如何将低延迟、高吞吐量流式摄取实现到列式存储中的实际细节，讨论了所描述的面向行的预写日志（WAL）和后台合并器。
- The Log: What every software engineer should know about real-time data's unifying abstraction, Jay Kreps, 2013 (LinkedIn Engineering Blog) - 阐述了事务日志和变更数据捕获 (CDC) 在现代数据系统中的基础作用，与章节中“可靠的变更数据捕获 (CDC)”概念直接相关。
© 2025 ApX Machine Learning用心打造