趋近智
使用Apache Kafka和Flink的实时数据管道
章节 1: 流处理架构与语义
分布式日志的发展
Lambda 与 Kappa 架构
处理保障和含义
事件时间与处理时间
动手实践：设计一个Kappa管道
章节 2: 高级 Kafka 生产者和消费者工作原理
复制协议和ISR
幂等生产者与事务
自定义分区策略
消费者组再平衡协议
动手实践：实现事务性写入
章节 3: Flink 状态管理与检查点
状态后端：HashMap 对比 RocksDB
异步屏障快照
增量检查点
状态模式演变
动手实践：使用 Savepoint 进行状态迁移
章节 4: 高级窗口与时间属性
水位线生成策略
处理延迟数据与侧输出
自定义窗口触发器和驱逐器
会话窗口与间隔分析
动手实践：制作自定义触发器
章节 5: 使用 ProcessFunction 的底层操作
ProcessFunction 结构体系
定时器服务与事件调度
广播状态模式
外部查找的异步 I/O
动手实践：动态规则评估
章节 6: 生产部署与可靠性
Avro 和 Protobuf 序列化
模式注册表集成
Kafka Connect 用于源和目标
故障恢复策略
实战：运行中的模式演进
章节 7: 性能调优与监控
识别反压
内存管理与槽位分配
优化 RocksDB 性能
Kafka 消费者滞后分析
实操：解决数据倾斜
章节 8: 实时AI与特征工程
在线特征生成
流处理中的模型服务模式
基于异步流的请求-响应机制
特征存储的整合
动手实践：实时推理管道
事件时间与处理时间
这部分内容有帮助吗？
- Stream Processing with Apache Flink, Fabian Hueske, Vasiliki Kalavri, 2019 (O'Reilly Media) - 阐述Apache Flink的时间语义、事件时间、处理时间以及水位线，对实现一致的流处理有帮助。
- Event Time and Watermarks, The Apache Flink Community, 2024 - 官方文档，解释Apache Flink中事件时间、处理时间及水位线，包括其配置与行为。
- The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Unified Stream Processing, Tyler Akidau, Robert Bradshaw, Craig Chambers, Slava Chernyak, Rafael J. Fernandez, Joie Harrah, Reuven Lax, Sam Richman, Eric Rosenthal and Sam Whittle, 2015 Proceedings of the VLDB Endowment, Vol. 8 (VLDB Endowment) DOI: 10.14778/2850580.2850581 - 提出流处理的基本概念，如事件时间、处理时间及乱序数据处理机制，对Apache Flink等系统产生影响。
© 2025 ApX Machine Learning用心打造