趋近智
构建规模化数据仓库
章节 1: MPP 架构与存储原理
大规模并行处理的基本原理
计算与存储分离
列式存储格式与压缩
微分区与元数据管理
实践：检查存储配置
章节 2: 大规模数据建模进阶
大数据中的维度建模限制
Data Vault 2.0 实施模式
处理半结构化数据
模式演变与版本管理
动手实践：设计数据保险库
章节 3: 高吞吐量数据摄取管道
变更数据捕获架构
数据管道中的幂等性
微批处理与流式摄取
处理延迟到达的数据
实践操作：构建CDC管道
章节 4: 查询优化与性能调优
分析查询执行计划
分区剪枝与聚簇键
连接策略：广播连接与洗牌连接
物化视图与缓存层
动手实践：优化高延迟查询
章节 5: 治理、安全与可观测性
基于角色的访问控制层级结构
动态数据屏蔽与令牌化
行级安全实现
资源监控与成本管控
动手实践：配置安全策略
处理延迟到达的数据
这部分内容有帮助吗？
- The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Unified Stream Processing, Tyler Akidau, Alex Balikov, Kaya Bekiroğlu, Slava Chernyak, Josh Haberman, Reuven Lax, Sam McVeety, Daniel Mills, Fraser Nevard, Oleksandr Shvets, Sam Whittle, 2017 Proceedings of the VLDB Endowment, Vol. 10 (VLDB Endowment) DOI: 10.14778/3137628.3137637 - 本文介绍了数据流模型，该模型为批处理和流处理提供统一方法，定义了事件时间、处理时间及水位线，用于管理时间挑战。
- Big Data: Principles and Best Practices of Scalable Realtime Data Systems, Nathan Marz and James Warren, 2015 (Manning Publications) - 介绍了Lambda架构，一种处理数据的双层方法，包括通过其批处理层处理延迟事件，并将其与Kappa架构进行对比。
- Bitemporal Data: Theory and Practice, Tom Johnston, 2014 (Morgan Kaufmann) - 一本关于双时态数据建模的综合书籍，解释了如何存储和查询随时间变化的数据，包括事件时间和记录时间。
© 2025 ApX Machine Learning用心打造