趋近智
大规模分布式检索增强生成
章节 1: 可扩展RAG架构核心要素
RAG核心组件的审视
识别 RAG 扩展中的瓶颈和局限
分布式系统原则在RAG中的应用
分布式RAG系统的架构模式
大规模RAG系统评估指标
高可用性与容错性设计
分布式RAG中的数据一致性模型
章节 2: 高级分布式检索策略
规模化向量搜索：分片、复制与索引
分布式稠密检索：实现与优化
大规模混合检索：整合密集与稀疏检索器
分布式环境中的图检索
多向量与ColBERT式架构应对大规模应用
分布式配置中的进阶重排管线
大规模数据摄取的近实时索引
动手实践：实现分片向量索引
章节 3: 优化分布式RAG中的大语言模型
高效LLM服务架构
领域专用RAG的参数高效微调
LLM部署的量化与剪枝技术
处理大规模检索数据集时的长上下文
大规模减少幻觉的策略
多LLM RAG架构与智能路由
动手实践：为特定任务RAG微调LLM
章节 4: 规模化数据摄入与处理管道
分布式数据摄取框架
可伸缩文档分块与预处理方法
分布式嵌入生成与管理
变更数据捕获用于实时RAG更新
规模化向量数据库管理与优化
分布式RAG系统中的数据治理与血缘
动手实践: 构建可伸缩数据摄取管道
章节 5: 大规模 RAG 的编排与运行
使用 Airflow 或 Kubeflow 进行工作流编排
RAG 组件的微服务设计模式
RAG 部署的容器化与 Kubernetes 应用
分布式RAG系统的高级监控、日志记录与告警
RAG 系统的 CI/CD 流水线
RAG系统的A/B测试和实验框架
云端RAG的成本优化策略
动手实践：在Kubernetes上部署RAG并进行监控
章节 6: 高级 RAG 架构与技术
多跳与迭代式RAG的规模化应用
代理型RAG系统与分布式工具应用
分布式环境中知识图谱增强型RAG
自校正和自提升的RAG系统
处理高动态和流式数据源
大规模RAG部署中的安全考量
规模化跨语言与多模态RAG
实践：设计多阶段RAG系统
章节 7: 分布式RAG的性能调优与基准测试
找出RAG组件中的性能瓶颈
延迟与吞吐量优化技术
RAG 组件的负载均衡策略
不同系统层的缓存机制
分布式RAG的基准测试：指标与工具
RAG 系统的压力测试与容量规划
分布式环境中的性能分析与调试
实践：优化分布式RAG系统以达到最佳性能
高效LLM服务架构
这部分内容有帮助吗？
- vLLM: Efficiently Serve LLMs with PagedAttention, Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, Ion Stoica, 2023 SOSP 2023 DOI: 10.48550/arXiv.2309.06180 - 介绍了PagedAttention以实现高效的KV缓存管理和高LLM服务吞吐量。
- Text Generation Inference: A production-ready inference container for LLMs, Maxime Labonne, Thomas Simonini, and Pedro Cuenca, 2023 Hugging Face Blog (Hugging Face) - Hugging Face TGI的概述，涵盖了LLM部署的连续批处理和量化等功能。
- Accelerating Large Language Model Inference with NVIDIA FasterTransformer and Triton Inference Server, Apoorv Bansal, Bin Zhang, Bo Li, Chintan Shah, David W. Ho, Hanwen Chang, Jie Ren, Jike Li, Kuan Wang, Long Lu, Luyang Liu, Pranav Kashyap, Santhosh Tumma, Shuo Yang, Xiaodi Lu, Yichi Zhang, Yiran Shao, Yongmin Li, Zhongshuai Wang, and Zhen Jia, 2023 NVIDIA Developer Blog (NVIDIA) - 解释了如何使用NVIDIA的FasterTransformer后端与Triton服务器进行优化的LLM服务。
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, and Christopher Ré, 2022 Advances in Neural Information Processing Systems (NeurIPS) DOI: 10.48550/arXiv.2205.14135 - 介绍了FlashAttention，一种内存高效的注意力算法，用于优化基于Transformer的模型。