在生产环境中,RAG系统能否成功,主要取决于其从海量数据集中高效查找相关信息的能力。随着系统规模扩大,检索组件常常成为影响性能的重要考量。本章侧重于构建和优化能满足这类需求的分步式检索系统所需的方法。我们将考察通过分片、复制和精良索引来扩展向量检索的方法。您将学习如何实现分布式密集检索并优化其性能。讨论将扩展到混合搜索方法,这些方法在规模化应用中结合了密集和稀疏检索器的优势。此外,我们还将涉及基于图的检索技术、用于增强检索效果的多向量和ColBERT风格架构、分布式环境中高级重排流水线的设计,以及接近实时索引的方法。本章包含一个关于设置分片向量索引的实践部分,以巩固所讨论的原理。