趋近智
使用Apache Kafka和Flink的实时数据管道
章节 1: 流处理架构与语义
分布式日志的发展
Lambda 与 Kappa 架构
处理保障和含义
事件时间与处理时间
动手实践：设计一个Kappa管道
章节 2: 高级 Kafka 生产者和消费者工作原理
复制协议和ISR
幂等生产者与事务
自定义分区策略
消费者组再平衡协议
动手实践：实现事务性写入
章节 3: Flink 状态管理与检查点
状态后端：HashMap 对比 RocksDB
异步屏障快照
增量检查点
状态模式演变
动手实践：使用 Savepoint 进行状态迁移
章节 4: 高级窗口与时间属性
水位线生成策略
处理延迟数据与侧输出
自定义窗口触发器和驱逐器
会话窗口与间隔分析
动手实践：制作自定义触发器
章节 5: 使用 ProcessFunction 的底层操作
ProcessFunction 结构体系
定时器服务与事件调度
广播状态模式
外部查找的异步 I/O
动手实践：动态规则评估
章节 6: 生产部署与可靠性
Avro 和 Protobuf 序列化
模式注册表集成
Kafka Connect 用于源和目标
故障恢复策略
实战：运行中的模式演进
章节 7: 性能调优与监控
识别反压
内存管理与槽位分配
优化 RocksDB 性能
Kafka 消费者滞后分析
实操：解决数据倾斜
章节 8: 实时AI与特征工程
在线特征生成
流处理中的模型服务模式
基于异步流的请求-响应机制
特征存储的整合
动手实践：实时推理管道
特征存储的整合
这部分内容有帮助吗？
- Michelangelo: Uber's Machine Learning Platform, Siby, Praveen and Goel, Anirudh and Jain, Manu and Jain, Amit and Singh, Amit and Sharma, Hien and Kumar, Karan and Panwar, Vaibhav and Srivatsa, Sathish and Shvachko, Alex and Grewal, Navjot and Arora, Sahitya and Kumar, Manish and Singh, Kamesh and Singh, Gaurav and Pudi, Venkata and Nallamothu, Venkata and Jain, Anupam and Gupta, Sanjai, 2017 arXiv preprint arXiv:1710.05370 - 描述了大规模机器学习平台的架构，包括特征存储的必要性及其设计，以解决训练-服务偏差并确保特征一致性。
- Asynchronous I/O for External Data Access, Apache Flink Documentation, 2024 - 官方文档解释了 Flink 的异步 I/O API，这对于与外部在线特征存储进行高吞吐量交互至关重要。
- Designing Machine Learning Systems, Huyen, Chip, 2022 (O'Reilly Media) - 全面解释了特征存储，涵盖了其架构、在防止训练-服务偏差中的作用以及对机器学习系统点历史一致性等要求。
© 2025 ApX Machine Learning用心打造