趋近智
使用Apache Kafka和Flink的实时数据管道
章节 1: 流处理架构与语义
分布式日志的发展
Lambda 与 Kappa 架构
处理保障和含义
事件时间与处理时间
动手实践：设计一个Kappa管道
章节 2: 高级 Kafka 生产者和消费者工作原理
复制协议和ISR
幂等生产者与事务
自定义分区策略
消费者组再平衡协议
动手实践：实现事务性写入
章节 3: Flink 状态管理与检查点
状态后端：HashMap 对比 RocksDB
异步屏障快照
增量检查点
状态模式演变
动手实践：使用 Savepoint 进行状态迁移
章节 4: 高级窗口与时间属性
水位线生成策略
处理延迟数据与侧输出
自定义窗口触发器和驱逐器
会话窗口与间隔分析
动手实践：制作自定义触发器
章节 5: 使用 ProcessFunction 的底层操作
ProcessFunction 结构体系
定时器服务与事件调度
广播状态模式
外部查找的异步 I/O
动手实践：动态规则评估
章节 6: 生产部署与可靠性
Avro 和 Protobuf 序列化
模式注册表集成
Kafka Connect 用于源和目标
故障恢复策略
实战：运行中的模式演进
章节 7: 性能调优与监控
识别反压
内存管理与槽位分配
优化 RocksDB 性能
Kafka 消费者滞后分析
实操：解决数据倾斜
章节 8: 实时AI与特征工程
在线特征生成
流处理中的模型服务模式
基于异步流的请求-响应机制
特征存储的整合
动手实践：实时推理管道
定时器服务与事件调度
这部分内容有帮助吗？
- Streaming Systems: The What, Where, When, and How of Real-Time Data Processing, Tyler Akidau, Slava Chernyak, Reuven Lax, 2018 (O'Reilly Media) - 解释了流处理的基础概念，包括事件时间、处理时间以及水位线，这些对于理解 Flink 中的时间依赖逻辑至关重要。
- Apache Flink: Stream and Batch Processing in a Single Engine, Fabian Hueske, Aljoscha Krettek, Robert Metzger, Till Rohrmann, Stefan Richter, Arne Simon, Kostas Tzoumas, and Stephan Ewen, 2015 Proceedings of the 7th Biennial Conference on Innovative Data Systems Research (CIDR '15) DOI: 10.5441/002/cidr15-05 - 介绍了 Flink 架构及其用于有状态流处理和时间管理的核心功能。
- Stream Processing with Apache Flink: Fundamentals, Streamlining Dataflow, and Advanced Applications, Fabian Hueske, Vasia Kalavri, 2019 (O'Reilly Media) - 详细解释了 Flink 的 ProcessFunction 和 TimerService，并提供了关于状态和时间管理的实用建议。
© 2025 ApX Machine Learning用心打造