随着您将检索增强生成 (RAG) 系统投入生产，研究或早期开发中常见的随意做法很快就会成为负担。构建可维护、可靠且能持续改进的RAG系统，其两个重要支柱是所有组件的严格版本控制和系统化的实验追踪。没有这些，您就像蒙眼操控一个复杂系统，无法可靠地重现结果、诊断退化或理解变更的影响。这些实践对于生产RAG的必要性以及有效实施的策略进行了阐述。
可重现性与可追溯性的必然要求
在生产RAG系统中，输出质量的意外变化、延迟的突然增加或错误信息的生成报告都可能带来即时后果。为了诊断此类问题，您必须能够回答：
- 使用了知识库的哪个确切版本？
- 哪个嵌入 (embedding)模型生成了向量 (vector)？
- 哪个提示模板指导了语言模型？
- 检索器和生成器的设置是什么？
- 核心管道代码的哪个版本正在运行？
没有版本控制，这些问题就难以回答。没有实验追踪，将变更与结果关联起来几乎不可能。生产RAG系统不是静态的；它们会演进。新数据被摄入，模型被微调 (fine-tuning)，提示被优化，底层库被更新。每个变化都是一次实验，重现先前状态并系统地比较性能的能力是成熟MLOps实践的一个标志。
优势包括：
- 可重现性： 确保给定输入集和组件版本始终产生相同的输出和性能特点。这对于调试、验证和A/B测试非常重要。
- 可追溯性与审计： 对于任何给定输出，能够追溯到所涉及的所有数据、模型和代码的确切版本。这对于合规性和理解模型随时间的变化行为可能很重要。
- 回滚能力： 如果新的部署降低了性能或引入了错误，您可以迅速恢复到已知良好状态。
- 协作： 使团队成员能够处理RAG系统的不同方面，合并变更，并理解开发历史。
- 系统化改进： 通过追踪实验及其与版本化组件对应的结果，您能够建立关于哪些有效、哪些无效以及原因的知识体系，从而实现数据驱动的优化。
RAG组件的版本控制策略
A RAG系统包含几个不同但相互作用的组件，每个组件都需要一个版本控制策略。仅仅对Python脚本进行版本控制是不够的。
代码
这是最直接的组件。您的RAG管道的所有代码，包括数据处理脚本、检索逻辑、生成API客户端、评估脚本和部署配置（如Dockerfiles或Kubernetes清单），都应使用像Git这样的分布式版本控制系统进行管理。
- 最佳实践： 采用标准Git工作流程（例如，功能分支、拉取请求、有意义的提交消息）。标记 (token)与生产部署对应的版本。
数据
RAG系统中的数据有多个方面，每个方面都需要版本控制：
- 源知识库： 构成您知识语料库的原始文档、数据库转储或网络爬虫输出。随着这些数据发生变化（更新、添加、删除），这些变化必须进行版本控制。像DVC（数据版本控制）这样的工具，它与Git集成，就是为此而设计的。它们将数据文件的元数据存储在Git中，而实际数据存储在单独的存储后端（S3、GCS等）中。
- 处理过的数据： 这包括分块文档、预计算的嵌入 (embedding)或结构化知识图数据。由于这些数据来源于源数据和处理脚本，对源数据和脚本进行版本控制通常会隐式地对处理过的数据进行版本控制。然而，对于大规模系统，显式地对处理过的成果进行版本控制（同样，使用DVC等工具）可以节省大量的重新处理时间。
- 评估数据集： 用于评估检索和生成质量的黄金数据集是重要的资产。它们必须进行版本控制，以确保随时间进行一致的评估。
模型
RAG系统通常使用多个模型：
- 嵌入模型： 无论您是使用现成的模型（例如来自Hugging Face的模型）还是微调 (fine-tuning)版本，您都需要追踪所使用的确切模型。对于预训练 (pre-training)模型，这可能是模型ID和特定的修订哈希值。对于微调模型，则要对模型权重 (weight)、配置以及用于生成模型的训练脚本/数据快照进行版本控制。
- 生成器LLM： 与嵌入模型类似，如果您使用的是自托管或微调的LLM，其权重和配置必须进行版本控制。如果使用基于API的LLM，请记录您所针对的模型版本或端点，因为这些可能会发生变化。
- 重排序模型： 如果您使用重排序器（例如交叉编码器），此模型也需要进行版本控制。
模型注册表，通常是MLflow或Weights & Biases等平台的一部分，甚至可以是使用DVC的组织良好的云存储方案，可以管理模型版本及其生命周期（暂存、生产、存档）。
提示
提示是LLM的一种“软件”形式，是RAG系统中频繁迭代和优化的对象。提示措辞的微小变化可能导致输出质量、风格和真实性出现显著差异。
- 将提示视为代码： 将提示存储在文本文件（例如
.txt、.md，如果它们有多个部分，则为YAML/JSON等结构化格式）中，并使用Git进行版本控制。
- 提示模板： 如果您的提示是从模板动态构建的，请对这些模板进行版本控制。
- 提示管理工具： 对于包含许多提示的复杂应用程序，专门的提示管理或版本控制工具正在出现，但对于许多团队来说，Git通常就足够了。
配置
这些包括分块（大小、重叠）、检索（top-k）、LLM生成（温度、最大token数）的参数 (parameter)，以及其他管道设置。
- 配置文件： 将配置存储在文件（例如YAML、JSON、TOML）中，并与您的代码库一起使用Git进行版本控制。这确保了您的代码的特定Git提交也指向所使用的确切配置。
系统化的实验追踪
考虑到RAG管道中可配置元素的数量，优化它涉及运行大量实验。手动追踪每次运行使用了哪些参数 (parameter)以及产生了哪些指标，是容易出错且不可扩展的。在这里，专用的实验追踪工具变得非常必要。
每次RAG实验需要追踪什么：
- 实验标识符： 运行的唯一ID、时间戳，以及可能的人可读名称或描述。
- 源代码版本： 用于实验的代码的Git提交哈希值。
- 数据版本： 知识库、评估数据集和任何其他相关数据的版本标识符。
- 模型版本： 嵌入 (embedding)模型、LLM和重排序器的特定版本或标识符。
- 提示版本/内容： 所使用的提示模板的标识符或全文。
- 超参数 (hyperparameter)： RAG管道每个组件的所有设置（例如，
chunk_size、overlap、retrieval_top_k、llm_temperature、reranker_model_name）。
- 输出指标： 性能的定量衡量标准。对于RAG，这可以包括：
- 检索指标：精确度@k、召回率@k、平均倒数排名（MRR）、命中率。
- 生成指标：ROUGE、BLEU（用于类似摘要的任务），以及更定性的LLM作为评判者的指标，如忠实度、答案相关性、有害性。
- 系统指标：端到端延迟、组件级延迟、吞吐量 (throughput)、每次查询成本。
- 输出产物： RAG系统的保存输出（例如，生成的样本响应、中间检索结果）、评估报告、可视化（例如，嵌入投影），或适用的模型检查点。
常见的实验追踪工具包括：
- MLflow： 一个开源平台，用于管理ML生命周期，包括实验追踪、模型注册和部署。
- Weights & Biases (W&B)： 一个商业平台，因其易用性、丰富的可视化功能和协作特性而广受欢迎。
- DVC（实验）： DVC也提供实验追踪功能，与其数据版本控制功能紧密集成。
- 其他： Comet ML、Neptune.ai、ClearML。
即使是简单的结构化日志记录方法，也许写入共享CSV或数据库，也比不追踪要好，但专用工具提供了更多用于查询、比较和可视化结果的功能。
考虑以下一个RAG实验可能记录的简化示例：
| 参数 |
值 |
experiment_id |
exp_rag_042_prompt_refine |
timestamp |
2023-10-27T10:30:00Z |
git_commit_code |
a1b2c3d |
knowledge_base_version |
kb_docs_v2.1 |
embedding_model |
text-embedding-ada-002 |
llm_model |
gpt-3.5-turbo-0613 |
prompt_template_id |
rag_qa_v3.2 |
chunk_size |
512 |
retrieval_top_k |
5 |
metric_faithfulness |
0.88 |
metric_answer_relevance |
0.92 |
metric_latency_p95_ms |
1250 |
版本控制与实验追踪的整合
当版本控制和实验追踪紧密集成时，真正的威力便会显现出来。每个记录的实验都应明确关联到其所有组成部分的特定版本。这种关联正是可重现性的保证。
实验运行引用了代码、数据、模型、配置和提示的特定版本。该运行的结果（指标和产物）随后被记录，从而创建了可追溯的记录。
大多数实验追踪工具都提供了API来自动记录这些版本（例如，mlflow.autolog()可以捕获Git提交哈希值，或者您可以显式记录DVC数据版本）。
实施的实用策略
- 尽早开始： 从项目开始就实施版本控制和实验追踪。将这些实践回溯应用到成熟、未追踪的系统上要困难得多。
- 自动化记录： 尽可能自动化记录参数 (parameter)、版本和指标。手动记录容易出错和遗漏。
- 定义命名约定： 为实验、模型版本和数据快照建立清晰一致的命名约定，以保持您的追踪系统井然有序。
- CI/CD集成： 将实验追踪和评估集成到您的持续集成/持续部署（CI/CD）管道中。例如，当通过拉取请求提出新的提示版本时，自动化管道可以针对黄金数据集运行评估，记录实验，并将指标报告回拉取请求。
- 定期审查： 定期审查追踪的实验及其结果。这有助于识别趋势，理解哪些变化带来改进，并指导未来的开发工作。
- 迭代您的流程： 您选择的特定工具和工作流程可能会随着团队和项目的成长而演变。准备好调整和完善您的版本控制和追踪策略。
通过勤奋地对所有RAG组件应用版本控制并系统地追踪您的实验，您就为可维护和持续改进的生产系统奠定了基础。这种规范将RAG开发从艺术转变为工程实践，使您能够更快地迭代、更有效地调试，并最终向用户交付更可靠、更高质量的结果。
