检索器在 RAG 中的作用

检索器是 RAG 系统的专门信息查找器。可以把标准的大型语言模型（LLM）想象成一个知识渊博的人，但其知识更新停留在某个时间点，并且可能偶尔会记错细节或缺乏特定领域的专业知识。检索器的任务是为这个知识组件（LLM）提供特定、及时且相关的文件或文本段落，以便在需要时准确回答查询。

其主要职能很简单：给定用户查询后，检索器会在预定义的知识源中搜索，例如文档、文章、网站数据或数据库条目集合。然后它会识别并提取最有可能有助于形成准确且基于上下文的回答的信息片段。

请看工作流程：

1. 输入： 检索器接收用户的输入查询。通常，此查询会被转换为数值表示（一种嵌入，我们稍后会介绍），以捕获其语义含义而非仅是关键词。
2. 搜索： 它对已索引的知识库执行搜索操作。这通常涉及复杂的技术，如向量相似度搜索，旨在找到与查询意图语义相关的内容，而不仅仅是匹配单词。
3. 输出： 检索器返回一个相关文本“块”或文档片段的排序列表。这些片段是被认为与根据知识源内容回答原始查询最相关的信息。

这种检索到的上下文是检索增强生成（Retrieve-Augmented Generation）的“增强”部分。它被传递到下一个阶段，即生成器（LLM），构成输入提示的一个重要部分，指导最终的答案生成。

检索器根据用户的输入查询已索引的知识源，并为生成器（LLM）提供相关上下文，然后由生成器生成最终回答。

检索器输出的质量直接影响 RAG 系统的整体效率。如果检索器未能找到必要信息或提取不相关的段落，生成器无论能力多强，都会遇到困难。如果提供的上下文缺失、误导或不正确，它就无法合成准确、有充分依据的答案。“垃圾进，垃圾出”的原则在这里非常适用；检索器的表现决定了 RAG 系统最终输出质量的上限。

因此，了解检索器如何工作以及如何有效地配置它，对于构建可靠的 RAG 应用来说很重要。接下来的部分将讨论实现这一检索的核心技术：用于表示文本含义的向量嵌入、用于查找相关内容的相似度搜索算法，以及用于大规模高效管理和查询这些表示的向量数据库。