评估RAG的挑战

评估一个RAG系统初看起来可能像是检查最终答案是否正确。然而，检索器和生成器组件相互关联的特性带来了特定的困难，使得评估比评估一个标准的大型语言模型或独立的（信息）检索系统更为复杂。评估过程中会出现一些常见的难题。

RAG系统的复合特性

RAG系统并非一个单一的整体模型；它是一个流程，通常至少包含检索和生成两个主要阶段。不令人满意的输出可能源于任一阶段的问题，也可能源于它们之间糟糕的互动。

• 检索不佳： 检索器可能无法从知识库中找到相关文档或片段。这可能是由于低效的嵌入 (embedding)、次优的索引，或者源数据中根本没有相关信息。如果提供给生成器的上下文 (context)不相关或质量低下，即使是完美的生成器也无法生成一个良好、有依据的答案。
• 生成不佳： 即使有相关上下文，生成器（LLM）也可能失败。它可能忽略提供的上下文，误解上下文，错误地综合信息，或者引入幻觉 (hallucination)（指上下文或模型内部知识不支持的信息）。
• 交互问题： 有时，两个组件单独运作都相当好，但在共同运作时却失败。检索器可能会返回勉强相关的上下文，从而使生成器困惑，或者上下文的格式化和插入提示的方式可能会误导生成器。

精确找出失败的根源需要评估每个组件，这带来了其自身的一系列挑战。

定义和衡量“相关性”和“忠实性”

RAG系统的两个重要品质是检索到的上下文 (context)的相关性和生成的答案的忠实性。

• 相关性： 检索到的上下文与用户查询的关联程度如何？自动评估这一点很困难。标准信息检索（IR）指标，如准确率 (Precision)、召回率 (Recall) 或平均倒数排名 ($MRR$)，需要标注数据集来指明特定查询应该检索哪些文档。创建此类数据集，特别是对于多样化或专业化的知识库，是资源密集型的。此外，上下文可能语义上相关，但对于回答特定问题并非直接有用。
• 忠实性（或依据性）： 生成的答案是否准确反映了检索到的上下文中的信息？它是否避免引入外部信息或与源材料矛盾？评估忠实性是一个重要的挑战。BLEU 或 ROUGE 等标准自然语言处理（NLP）指标衡量与参考答案的词汇重叠度，但这不保证与所提供上下文的事实一致性。更高级的技术涉及使用其他模型来检查蕴含关系或矛盾，但这些方法复杂且并非万无一失。

“好”答案的主观性

对于许多查询，特别是开放式查询，没有一个单一的“正确”答案。不同的用户可能会觉得不同程度的细节或不同的观点更有帮助。这种主观性使得自动化评估变得困难。一个被某个指标或评估者认为是好的答案，可能会被另一个评估者认为不完整或措辞不佳。人工评估通常被认为是黄金标准，但它缓慢、昂贵，并且可能存在评估者之间不一致的问题。

RAG流程中的评估点。在评估上下文 (context)相关性（检索器输出）、答案忠实性和相关性（生成器输出）以及整体质量（涉及主观性及正确归因错误）方面存在挑战。

缺乏全面的真值数据集

有效评估RAG系统通常需要包含查询、相应的理想检索片段以及基于这些片段的参考答案的数据集。创建此类全面的数据集是一项重要的任务：

1. 识别相关片段： 专家需要手动识别知识库中各种查询的所有相关块。
2. 编写参考答案： 高质量的参考答案需要仅基于已识别的片段编写。
3. 规模化： 这个过程需要对大量查询重复进行，以确保评估具有统计意义。

对于专有或快速变化的数据集，生成这些真值信息通常不切实际，因此不得不依赖于较不直接的评估方法。

评估的可扩展性和成本

彻底的评估，特别是涉及人工判断的评估，昂贵且耗时。虽然自动化指标提供可扩展性，但它们通常提供不完整的视图，尤其是在忠实性和相关性方面。在RAG系统投入运行时，平衡人工评估的深度和自动化检查的广度是一个持续的挑战。

理解这些困难是迈向制定有效评估策略的第一步，我们接下来会审视这些策略。认识到评估并非完美，这促使我们进行迭代开发并使用多种方法来更全面地了解RAG系统的表现。