评估一个RAG系统初看起来可能像是检查最终答案是否正确。然而,检索器和生成器组件相互关联的特性带来了特定的困难,使得评估比评估一个标准的大型语言模型或独立的(信息)检索系统更为复杂。评估过程中会出现一些常见的难题。
RAG系统的复合特性
RAG系统并非一个单一的整体模型;它是一个流程,通常至少包含检索和生成两个主要阶段。不令人满意的输出可能源于任一阶段的问题,也可能源于它们之间糟糕的互动。
- 检索不佳: 检索器可能无法从知识库中找到相关文档或片段。这可能是由于低效的嵌入 (embedding)、次优的索引,或者源数据中根本没有相关信息。如果提供给生成器的上下文 (context)不相关或质量低下,即使是完美的生成器也无法生成一个良好、有依据的答案。
- 生成不佳: 即使有相关上下文,生成器(LLM)也可能失败。它可能忽略提供的上下文,误解上下文,错误地综合信息,或者引入幻觉 (hallucination)(指上下文或模型内部知识不支持的信息)。
- 交互问题: 有时,两个组件单独运作都相当好,但在共同运作时却失败。检索器可能会返回勉强相关的上下文,从而使生成器困惑,或者上下文的格式化和插入提示的方式可能会误导生成器。
精确找出失败的根源需要评估每个组件,这带来了其自身的一系列挑战。
定义和衡量“相关性”和“忠实性”
RAG系统的两个重要品质是检索到的上下文 (context)的相关性和生成的答案的忠实性。
- 相关性: 检索到的上下文与用户查询的关联程度如何?自动评估这一点很困难。标准信息检索(IR)指标,如准确率 (Precision)、召回率 (Recall) 或平均倒数排名 (MRR),需要标注数据集来指明特定查询应该检索哪些文档。创建此类数据集,特别是对于多样化或专业化的知识库,是资源密集型的。此外,上下文可能语义上相关,但对于回答特定问题并非直接有用。
- 忠实性(或依据性): 生成的答案是否准确反映了检索到的上下文中的信息?它是否避免引入外部信息或与源材料矛盾?评估忠实性是一个重要的挑战。BLEU 或 ROUGE 等标准自然语言处理(NLP)指标衡量与参考答案的词汇重叠度,但这不保证与所提供上下文的事实一致性。更高级的技术涉及使用其他模型来检查蕴含关系或矛盾,但这些方法复杂且并非万无一失。
“好”答案的主观性
对于许多查询,特别是开放式查询,没有一个单一的“正确”答案。不同的用户可能会觉得不同程度的细节或不同的观点更有帮助。这种主观性使得自动化评估变得困难。一个被某个指标或评估者认为是好的答案,可能会被另一个评估者认为不完整或措辞不佳。人工评估通常被认为是黄金标准,但它缓慢、昂贵,并且可能存在评估者之间不一致的问题。
RAG流程中的评估点。在评估上下文 (context)相关性(检索器输出)、答案忠实性和相关性(生成器输出)以及整体质量(涉及主观性及正确归因错误)方面存在挑战。
缺乏全面的真值数据集
有效评估RAG系统通常需要包含查询、相应的理想检索片段以及基于这些片段的参考答案的数据集。创建此类全面的数据集是一项重要的任务:
- 识别相关片段: 专家需要手动识别知识库中各种查询的所有相关块。
- 编写参考答案: 高质量的参考答案需要仅基于已识别的片段编写。
- 规模化: 这个过程需要对大量查询重复进行,以确保评估具有统计意义。
对于专有或快速变化的数据集,生成这些真值信息通常不切实际,因此不得不依赖于较不直接的评估方法。
评估的可扩展性和成本
彻底的评估,特别是涉及人工判断的评估,昂贵且耗时。虽然自动化指标提供可扩展性,但它们通常提供不完整的视图,尤其是在忠实性和相关性方面。在RAG系统投入运行时,平衡人工评估的深度和自动化检查的广度是一个持续的挑战。
理解这些困难是迈向制定有效评估策略的第一步,我们接下来会审视这些策略。认识到评估并非完美,这促使我们进行迭代开发并使用多种方法来更全面地了解RAG系统的表现。