检索增强生成 (RAG) 简介

大型语言模型（LLM）尽管能力出众，但在运行时有一个明显的局限：它们的知识是静态的，固定在训练数据收集时的状态。它们本身无法获取其训练之后产生的信息，例如最新新闻、内部文档更新或私有知识库中的数据。这使得它们无法回答有关时事的问题，也无法基于专有信息提供有效回应。

检索增强生成（RAG）为此问题提供了一个直接的解决方法。它是一种技术，或者更准确地说，是一种架构模式，通过在生成过程中动态引入从外部来源获取的信息来提升LLM的回复质量。RAG并非仅依赖模型内部化（且可能过时）的知识，而是让LLM在生成答案之前查阅相关的外部文档。

可以将其比作开卷考试与闭卷考试。标准的LLM在闭卷环境下运行，仅根据其训练期间“记忆”的内容回答。RAG实际上赋予LLM查阅与所提问题相关的特定参考资料（即您的外部数据源）的能力，使其能够形成更具信息量且上下文 (context)更准确的回复。

RAG的核心流程包含三个主要步骤：

1. 检索： 给定用户查询或提示，系统首先在一个外部知识源（如文档集合、数据库或网页）中查找与该查询相关的信息。
2. 增强： 上一步获取的相关信息随后与原始用户查询结合，通常是通过将其作为附加上下文插入到将发送给LLM的提示中。
3. 生成： LLM接收这个增强后的提示，其中现在包含原始查询和补充上下文。它使用这些组合信息生成最终回复，该回复以获取的数据为依据，或至少从中获得信息。

以下是RAG工作流程的简化视图：

检索增强生成过程的概述，展示了外部数据如何为最终LLM回复提供信息。

与在新数据上微调 (fine-tuning)LLM等其他方法相比，此方法具有多项优势：

• 获取最新信息： RAG系统只需更新外部数据源即可整合最新信息，无需对基础LLM进行昂贵的重新训练。
• 减少幻觉 (hallucination)： 通过将LLM的回复建立在具体的、获取的事实之上，RAG可以显著减少模型“幻觉”或生成看似合理但错误信息的倾向。
• 可验证性： 由于回复基于获取的文档，用户通常可以追溯到原始资料，从而提高信任度并支持事实核查。
• 领域特定性： 它使得通用LLM能够通过按需提供必要上下文，有效回答关于高度特定或专有领域的问题。

微调调整模型的内部参数 (parameter)，而RAG则在推理 (inference)时修改提供给模型的输入。这使得RAG成为构建需要LLM与特定、动态知识库交互的应用的灵活且高效的模式。

接下来的章节将详细研究该模式的各个组成部分，内容包括如何准备数据、执行高效检索以及如何有效地将获取的上下文与LLM提示结合。