评估RAG的挑战

评估一个RAG系统初看起来可能像是检查最终答案是否正确。然而，检索器和生成器组件相互关联的特性带来了特定的困难，使得评估比评估一个标准的大型语言模型或独立的（信息）检索系统更为复杂。评估过程中会出现一些常见的难题。

RAG系统的复合特性

RAG系统并非一个单一的整体模型；它是一个流程，通常至少包含检索和生成两个主要阶段。不令人满意的输出可能源于任一阶段的问题，也可能源于它们之间糟糕的互动。

• 检索不佳： 检索器可能无法从知识库中找到相关文档或片段。这可能是由于低效的嵌入、次优的索引，或者源数据中根本没有相关信息。如果提供给生成器的上下文不相关或质量低下，即使是完美的生成器也无法生成一个良好、有依据的答案。
• 生成不佳： 即使有相关上下文，生成器（LLM）也可能失败。它可能忽略提供的上下文，误解上下文，错误地综合信息，或者引入幻觉（指上下文或模型内部知识不支持的信息）。
• 交互问题： 有时，两个组件单独运作都相当好，但在共同运作时却失败。检索器可能会返回勉强相关的上下文，从而使生成器困惑，或者上下文的格式化和插入提示的方式可能会误导生成器。

精确找出失败的根源需要评估每个组件，这带来了其自身的一系列挑战。

定义和衡量“相关性”和“忠实性”

RAG系统的两个重要品质是检索到的上下文的相关性和生成的答案的忠实性。

• 相关性： 检索到的上下文与用户查询的关联程度如何？自动评估这一点很困难。标准信息检索（IR）指标，如准确率 (Precision)、召回率 (Recall) 或平均倒数排名 ($MRR$)，需要标注数据集来指明特定查询应该检索哪些文档。创建此类数据集，特别是对于多样化或专业化的知识库，是资源密集型的。此外，上下文可能语义上相关，但对于回答特定问题并非直接有用。
• 忠实性（或依据性）： 生成的答案是否准确反映了检索到的上下文中的信息？它是否避免引入外部信息或与源材料矛盾？评估忠实性是一个重要的挑战。BLEU 或 ROUGE 等标准自然语言处理（NLP）指标衡量与参考答案的词汇重叠度，但这不保证与所提供上下文的事实一致性。更高级的技术涉及使用其他模型来检查蕴含关系或矛盾，但这些方法复杂且并非万无一失。

“好”答案的主观性

对于许多查询，特别是开放式查询，没有一个单一的“正确”答案。不同的用户可能会觉得不同程度的细节或不同的观点更有帮助。这种主观性使得自动化评估变得困难。一个被某个指标或评估者认为是好的答案，可能会被另一个评估者认为不完整或措辞不佳。人工评估通常被认为是黄金标准，但它缓慢、昂贵，并且可能存在评估者之间不一致的问题。

RAG流程中的评估点。在评估上下文相关性（检索器输出）、答案忠实性和相关性（生成器输出）以及整体质量（涉及主观性及正确归因错误）方面存在挑战。

缺乏全面的真值数据集

有效评估RAG系统通常需要包含查询、相应的理想检索片段以及基于这些片段的参考答案的数据集。创建此类全面的数据集是一项重要的任务：

1. 识别相关片段： 专家需要手动识别知识库中各种查询的所有相关块。
2. 编写参考答案： 高质量的参考答案需要仅基于已识别的片段编写。
3. 规模化： 这个过程需要对大量查询重复进行，以确保评估具有统计意义。

对于专有或快速变化的数据集，生成这些真值信息通常不切实际，因此不得不依赖于较不直接的评估方法。

评估的可扩展性和成本

彻底的评估，特别是涉及人工判断的评估，昂贵且耗时。虽然自动化指标提供可扩展性，但它们通常提供不完整的视图，尤其是在忠实性和相关性方面。在RAG系统投入运行时，平衡人工评估的深度和自动化检查的广度是一个持续的挑战。

理解这些困难是迈向制定有效评估策略的第一步，我们接下来会审视这些策略。认识到评估并非完美，这促使我们进行迭代开发并使用多种方法来更全面地了解RAG系统的表现。